outputguard: Python-Bibliothek repariert JSON-Fehler lokaler LLMs mit 15 Strategien
Der Reddit-Nutzer kexxty hat über mehrere Monate 288 Aufrufe strukturierter Output-Prompts durch Modelle wie Llama 3, Mistral, Command R, DeepSeek und Qwen auf OpenRouter sowie geschlossene API-Modelle geleitet. Ergebnis: Die Fehlerkategorien sind bei offenen und geschlossenen Modellen nahezu identisch, lediglich die Häufigkeit variiert. Am häufigsten traten auf: Markdown-Fences um JSON, Trailing Commas, Python-Literale (True/False/None statt JSON-konformer Schreibweise), abgeschnittene Objekte durch Token-Limits, nicht-escapte Anführungszeichen, Kommentare im JSON sowie Platzhalter wie „...". Aus diesen Erkenntnissen entstand die Python-Bibliothek outputguard, die JSON Schema-Validierung mit 15 Repair-Strategien kombiniert. Entscheidend ist laut Autor die Reihenfolge: Encoding-Fehler werden vor Strukturproblemen behoben, nach jeder Strategie wird neu geparst, um Wechselwirkungen zu vermeiden. Zusätzlich unterstützt outputguard YAML, TOML und Python-Literale. Die Bibliothek umfasst 2.001 Tests, ist MIT-lizenziert, hat keine LLM-Provider-Abhängigkeiten und lässt sich per „pip install outputguard" installieren.
- 288 LLM-Aufrufe über Llama 3, Mistral, Command R, DeepSeek, Qwen und geschlossene Modelle ausgewertet
- 7 Fehlerkategorien identifiziert: u.a. Markdown-Fences, Trailing Commas, Python-Literale (True/False/None), Token-Truncation
- 15 Repair-Strategien in fester Reihenfolge; Re-Parsing nach jeder Strategie verhindert Regression
- Neben JSON auch YAML, TOML und Python-Literale als Eingabeformate unterstützt
- 2.001 Unit-Tests, MIT-Lizenz, keine externen LLM-Provider-Abhängigkeiten — pip install outputguard
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGtowardsdatascience.com3w
Strukturierte LLM-Ausgaben: JSON Mode vs. Function Calling im Vergleich
- MEINUNGreddit.com2w
Community-Diskussion: Beste lokale Modelle für Structured Output
- MEINUNGreddit.com2d
Strukturierte Outputs aus LLMs mit Constrained Sampling
- FORSCHUNGarxiv.org1w
Kalibrierung statt Kompilierung: Statistische Fehler in LLM-generierten Probabilistic Programs erkennen und reparieren
outputguard: Python-Bibliothek repariert JSON-Fehler lokaler LLMs mit 15 Strategien
Der Reddit-Nutzer kexxty hat über mehrere Monate 288 Aufrufe strukturierter Output-Prompts durch Modelle wie Llama 3, Mistral, Command R, DeepSeek und Qwen auf OpenRouter sowie geschlossene API-Modelle geleitet. Ergebnis: Die Fehlerkategorien sind bei offenen und geschlossenen Modellen nahezu identisch, lediglich die Häufigkeit variiert. Am häufigsten traten auf: Markdown-Fences um JSON, Trailing Commas, Python-Literale (True/False/None statt JSON-konformer Schreibweise), abgeschnittene Objekte durch Token-Limits, nicht-escapte Anführungszeichen, Kommentare im JSON sowie Platzhalter wie „...". Aus diesen Erkenntnissen entstand die Python-Bibliothek outputguard, die JSON Schema-Validierung mit 15 Repair-Strategien kombiniert. Entscheidend ist laut Autor die Reihenfolge: Encoding-Fehler werden vor Strukturproblemen behoben, nach jeder Strategie wird neu geparst, um Wechselwirkungen zu vermeiden. Zusätzlich unterstützt outputguard YAML, TOML und Python-Literale. Die Bibliothek umfasst 2.001 Tests, ist MIT-lizenziert, hat keine LLM-Provider-Abhängigkeiten und lässt sich per „pip install outputguard" installieren.
- 288 LLM-Aufrufe über Llama 3, Mistral, Command R, DeepSeek, Qwen und geschlossene Modelle ausgewertet
- 7 Fehlerkategorien identifiziert: u.a. Markdown-Fences, Trailing Commas, Python-Literale (True/False/None), Token-Truncation
- 15 Repair-Strategien in fester Reihenfolge; Re-Parsing nach jeder Strategie verhindert Regression
- Neben JSON auch YAML, TOML und Python-Literale als Eingabeformate unterstützt
- 2.001 Unit-Tests, MIT-Lizenz, keine externen LLM-Provider-Abhängigkeiten — pip install outputguard
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGtowardsdatascience.com3w
Strukturierte LLM-Ausgaben: JSON Mode vs. Function Calling im Vergleich
- MEINUNGreddit.com2w
Community-Diskussion: Beste lokale Modelle für Structured Output
- MEINUNGreddit.com2d
Strukturierte Outputs aus LLMs mit Constrained Sampling
- FORSCHUNGarxiv.org1w
Kalibrierung statt Kompilierung: Statistische Fehler in LLM-generierten Probabilistic Programs erkennen und reparieren