
LLMs als kleine Zahnräder statt Alleskönner: Lessons aus 100 Compliance-PDFs
Clara Chong verarbeitete 100 bereits geparste, aber noch immer unordentliche Compliance-PDFs (mit OCR-Artefakten, inkonsistenter Formatierung und Übersetzungsabschnitten) und musste daraus strukturierte JSON-Regelwerke für ein nachgelagertes deterministisches System erzeugen. Der naive Ansatz – alle Daten in einen Agenten kippen und auf valides JSON hoffen – lieferte oberflächlich korrekte, aber inhaltlich lückenhafte Ergebnisse: Regeln waren zu allgemein, wurden ausgelassen oder bewahrten Nuancen des Originals nicht. Der entscheidende Durchbruch kam nicht durch bessere Prompts oder ein neues MCP-Framework, sondern durch drei architektonische Maßnahmen: (1) Daten-Preprocessing vor der Agenten-Übergabe, um Retrieval-Unsicherheit zu eliminieren; (2) Verarbeitung eines Dokuments pro Job statt Batch-Verarbeitung, sodass Fehler isoliert retried werden können; (3) fünf parallele Subagenten mit Fortschritts-Logging und Checkpoint-Resumption. Jede erzeugte Regel erhielt eine Referenz-ID, die auf den Quell-Chunk zurückverweist – was präzise Audit-Fragen erlaubt (z. B. „Ist der zitierte Textausschnitt tatsächlich im referenzierten Chunk vorhanden?"). Der Orchestrator überwachte den Gesamtfortschritt. Abgerundet wurde die Pipeline durch leichtgewichtige Evals auf einem kleinen manuell reviewten Batch – kein vollständiges Golden-Dataset, aber ausreichend um Abdeckung und Genauigkeit iterativ zu verbessern.
- Fünf parallele Subagenten prozessieren Dokumente einzeln; Fehler können dokumentenspezifisch retried werden.
- Vorverarbeitungsschritt entfernt irrelevante Metadaten und Felder, bevor der Agent die Rohdaten erhält.
- Referenz-IDs in jedem JSON-Regelobjekt ermöglichen Rückverfolgbarkeit auf den Quell-Chunk.
- Checkpoint-Caching erlaubt Wiederaufnahme der Pipeline ab dem letzten erfolgreichen Punkt.
- Leichtgewichtige Evals auf kleinem Batch ersetzten ein aufwändiges Golden-Dataset für diesen Anwendungsfall.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGtowardsdatascience.com1w
Prompt Engineering reicht nicht: Control Layer für LLMs in Production
- FORSCHUNGarxiv.org6d
Harness-Design für LLM-Agenten: Mehr Struktur ist nicht immer besser
- FORSCHUNGarxiv.org3d
Parallel Context Compaction reduziert Latenz bei LLM-Agenten mit langen Kontexten
- FORSCHUNGarxiv.org12h
Hierarchisches Prompt-Domain-Framework für ressourcenbeschränkte Agenten-LLMs

LLMs als kleine Zahnräder statt Alleskönner: Lessons aus 100 Compliance-PDFs
Clara Chong verarbeitete 100 bereits geparste, aber noch immer unordentliche Compliance-PDFs (mit OCR-Artefakten, inkonsistenter Formatierung und Übersetzungsabschnitten) und musste daraus strukturierte JSON-Regelwerke für ein nachgelagertes deterministisches System erzeugen. Der naive Ansatz – alle Daten in einen Agenten kippen und auf valides JSON hoffen – lieferte oberflächlich korrekte, aber inhaltlich lückenhafte Ergebnisse: Regeln waren zu allgemein, wurden ausgelassen oder bewahrten Nuancen des Originals nicht. Der entscheidende Durchbruch kam nicht durch bessere Prompts oder ein neues MCP-Framework, sondern durch drei architektonische Maßnahmen: (1) Daten-Preprocessing vor der Agenten-Übergabe, um Retrieval-Unsicherheit zu eliminieren; (2) Verarbeitung eines Dokuments pro Job statt Batch-Verarbeitung, sodass Fehler isoliert retried werden können; (3) fünf parallele Subagenten mit Fortschritts-Logging und Checkpoint-Resumption. Jede erzeugte Regel erhielt eine Referenz-ID, die auf den Quell-Chunk zurückverweist – was präzise Audit-Fragen erlaubt (z. B. „Ist der zitierte Textausschnitt tatsächlich im referenzierten Chunk vorhanden?"). Der Orchestrator überwachte den Gesamtfortschritt. Abgerundet wurde die Pipeline durch leichtgewichtige Evals auf einem kleinen manuell reviewten Batch – kein vollständiges Golden-Dataset, aber ausreichend um Abdeckung und Genauigkeit iterativ zu verbessern.
- Fünf parallele Subagenten prozessieren Dokumente einzeln; Fehler können dokumentenspezifisch retried werden.
- Vorverarbeitungsschritt entfernt irrelevante Metadaten und Felder, bevor der Agent die Rohdaten erhält.
- Referenz-IDs in jedem JSON-Regelobjekt ermöglichen Rückverfolgbarkeit auf den Quell-Chunk.
- Checkpoint-Caching erlaubt Wiederaufnahme der Pipeline ab dem letzten erfolgreichen Punkt.
- Leichtgewichtige Evals auf kleinem Batch ersetzten ein aufwändiges Golden-Dataset für diesen Anwendungsfall.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGtowardsdatascience.com1w
Prompt Engineering reicht nicht: Control Layer für LLMs in Production
- FORSCHUNGarxiv.org6d
Harness-Design für LLM-Agenten: Mehr Struktur ist nicht immer besser
- FORSCHUNGarxiv.org3d
Parallel Context Compaction reduziert Latenz bei LLM-Agenten mit langen Kontexten
- FORSCHUNGarxiv.org12h
Hierarchisches Prompt-Domain-Framework für ressourcenbeschränkte Agenten-LLMs