Benchmark: Classic Vector RAG vs. Google OKF vs. Kombination auf lokalem Setup
Das Open Knowledge Format (OKF) wurde von Google Cloud am 12. Juni veröffentlicht und definiert eine Struktur für kuratiertes Wissen: ein Verzeichnis aus Markdown-Dateien mit YAML-Frontmatter, je eine Datei pro Konzept, untereinander verlinkt und mit einer index.md für progressives Erschließen. Das einzige Pflichtfeld ist `type`. Reddit-Nutzer jokiruiz baute daraufhin ein vollständig lokales Testsystem aus qwen3:8b als Sprachmodell, nomic-embed-text als Embedding-Modell und ChromaDB als Vektordatenbank – ohne externe APIs. Das Testkorpus umfasst 60 realistische, aber fiktive Firmendokumente (Wiki-Seiten, Tabellenschemata, Architecture Decision Records und 40 Support-Tickets), die zu 85 Chunks à 800 Zeichen mit 100 Zeichen Überlapp zerlegt wurden. Der OKF-Bundle dagegen besteht aus nur 9 kuratierten Konzeptdateien, die denselben inhaltlichen Bereich abdecken. Besonders aufschlussreich ist das „Revenue"-Beispiel: Ein veraltetes 4.000-Zeichen-Dokument von 2023 erzeugt 7 Chunks und dominiert das Retrieval, während das aktuelle 500-Zeichen-Dokument von 2026 nur einen einzigen Chunk erzeugt und auf Rang 15 landet – hinter einem Glossar, einem Kundentabellenschema und einem Support-Ticket über Versandkosten zu den Kanarischen Inseln. Weder die Erhöhung von k auf 15 noch ein Reranker können diesen Bias korrigieren, weil das Erstellungsdatum nicht im Chunk-Text enthalten ist. Ein weiteres strukturelles Problem: Das Modell äußert Unsicherheit, wenn es fast keine Belege hat, schweigt aber, wenn es fast vollständige, aber lückenhafte Informationen besitzt – der Fehler tritt genau dann
- Corpus-Setup: 60 Markdown-Dateien, 85 Chunks bei 800 Zeichen Größe / 100 Zeichen Überlapp; OKF-Bundle nur 9 kuratierte Konzeptdateien.
- Token-Verbrauch: RAG 6.341 – OKF 8.625 – OKF+RAG 8.435; die Kombination ist trotz Drop gegenüber reinem OKF ~33 % teurer als plain RAG.
- Chunker-Fehler: Eine 18-spaltige Schema-Tabelle wurde zerrissen; die richtige Datei war zwar im Kontext, die Tabelle selbst nicht — Modell antwortete mit 'I don't know' bei k=3 und k=5.
- Kompositionsfehler: Eine Metrik-Definition setzt 3 Regeln aus 3 separaten Dateien voraus; RAG lieferte nur 2 von 3 und antwortete trotzdem confident mit Quellenangabe.
- Reproduzierbarkeit: Vollständiger Code, Korpus und Roh-Ergebnisse auf GitHub (JoaquinRuiz/rag-vs-okf), Frage 4 war laut Autor über mehrere Läufe instabil.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Benchmark: Classic Vector RAG vs. Google OKF vs. Kombination auf lokalem Setup
Das Open Knowledge Format (OKF) wurde von Google Cloud am 12. Juni veröffentlicht und definiert eine Struktur für kuratiertes Wissen: ein Verzeichnis aus Markdown-Dateien mit YAML-Frontmatter, je eine Datei pro Konzept, untereinander verlinkt und mit einer index.md für progressives Erschließen. Das einzige Pflichtfeld ist `type`. Reddit-Nutzer jokiruiz baute daraufhin ein vollständig lokales Testsystem aus qwen3:8b als Sprachmodell, nomic-embed-text als Embedding-Modell und ChromaDB als Vektordatenbank – ohne externe APIs. Das Testkorpus umfasst 60 realistische, aber fiktive Firmendokumente (Wiki-Seiten, Tabellenschemata, Architecture Decision Records und 40 Support-Tickets), die zu 85 Chunks à 800 Zeichen mit 100 Zeichen Überlapp zerlegt wurden. Der OKF-Bundle dagegen besteht aus nur 9 kuratierten Konzeptdateien, die denselben inhaltlichen Bereich abdecken. Besonders aufschlussreich ist das „Revenue"-Beispiel: Ein veraltetes 4.000-Zeichen-Dokument von 2023 erzeugt 7 Chunks und dominiert das Retrieval, während das aktuelle 500-Zeichen-Dokument von 2026 nur einen einzigen Chunk erzeugt und auf Rang 15 landet – hinter einem Glossar, einem Kundentabellenschema und einem Support-Ticket über Versandkosten zu den Kanarischen Inseln. Weder die Erhöhung von k auf 15 noch ein Reranker können diesen Bias korrigieren, weil das Erstellungsdatum nicht im Chunk-Text enthalten ist. Ein weiteres strukturelles Problem: Das Modell äußert Unsicherheit, wenn es fast keine Belege hat, schweigt aber, wenn es fast vollständige, aber lückenhafte Informationen besitzt – der Fehler tritt genau dann
- Corpus-Setup: 60 Markdown-Dateien, 85 Chunks bei 800 Zeichen Größe / 100 Zeichen Überlapp; OKF-Bundle nur 9 kuratierte Konzeptdateien.
- Token-Verbrauch: RAG 6.341 – OKF 8.625 – OKF+RAG 8.435; die Kombination ist trotz Drop gegenüber reinem OKF ~33 % teurer als plain RAG.
- Chunker-Fehler: Eine 18-spaltige Schema-Tabelle wurde zerrissen; die richtige Datei war zwar im Kontext, die Tabelle selbst nicht — Modell antwortete mit 'I don't know' bei k=3 und k=5.
- Kompositionsfehler: Eine Metrik-Definition setzt 3 Regeln aus 3 separaten Dateien voraus; RAG lieferte nur 2 von 3 und antwortete trotzdem confident mit Quellenangabe.
- Reproduzierbarkeit: Vollständiger Code, Korpus und Roh-Ergebnisse auf GitHub (JoaquinRuiz/rag-vs-okf), Frage 4 war laut Autor über mehrere Läufe instabil.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.