Context Is Not Control: Source-Boundary-Eval für LLM-Kontextkontrolle
Das Paper „Context Is Not Control" von Reddit-Nutzer /u/RJSabouhi formuliert ein neues Evaluierungsrahmenwerk für Large Language Models. Kern der Arbeit ist die These, dass viele Halluzinations- und Compliance-Fehler nicht auf fehlenden Kontext zurückzuführen sind, sondern darauf, dass Modelle nicht unterscheiden, welcher Teil des Kontextfensters als zulässige Evidenz gelten darf. Der Autor nennt sieben kritische Kontextkategorien: Evidenz, User-Framing, zitiertes Material, Quelltext, instruktionsartige Kontamination, unbelegte Behauptungen sowie autoritativ wirkende, aber ungültige Kontexte. Diese Unterscheidung wird als „Source-Boundary-Problem" gerahmt. Das Eval ist bewusst so gestaltet, dass es über verschiedene Kontextformate hinweg testbar ist und keinen Zugang zu proprietären Frontier-Modellen erfordert – damit richtet es sich explizit an die Community rund um lokale und offene Modelle. Der Autor betont, das Paper löse Halluzinationen nicht, sondern reframe einen spezifischen Teilbereich: das Versagen, Quellgrenzen unter kontextuellem Druck aufrechtzuerhalten.
- 7 Kontextkategorien werden unterschieden: Evidenz, User-Framing, Zitat, Quelltext, Instruktions-Kontamination, unbelegte Claims, ungültige Autorität
- Kernthese: Die Frage ist nicht 'hatte das Modell genug Kontext?', sondern 'hat es den richtigen Kontext als Evidenz identifiziert?'
- Eval ist unabhängig von Frontier-Modell-Zugang – explizit für lokale/offene Modelle konzipiert
- Paper erhebt keinen Anspruch, Halluzinationen zu lösen – nur einen Teilbereich neu zu rahmen
- Veröffentlicht als Kurzpaper/Eval-Write-up auf r/LocalLLaMA, offen für Kritik
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Context Is Not Control: Source-Boundary-Eval für LLM-Kontextkontrolle
Das Paper „Context Is Not Control" von Reddit-Nutzer /u/RJSabouhi formuliert ein neues Evaluierungsrahmenwerk für Large Language Models. Kern der Arbeit ist die These, dass viele Halluzinations- und Compliance-Fehler nicht auf fehlenden Kontext zurückzuführen sind, sondern darauf, dass Modelle nicht unterscheiden, welcher Teil des Kontextfensters als zulässige Evidenz gelten darf. Der Autor nennt sieben kritische Kontextkategorien: Evidenz, User-Framing, zitiertes Material, Quelltext, instruktionsartige Kontamination, unbelegte Behauptungen sowie autoritativ wirkende, aber ungültige Kontexte. Diese Unterscheidung wird als „Source-Boundary-Problem" gerahmt. Das Eval ist bewusst so gestaltet, dass es über verschiedene Kontextformate hinweg testbar ist und keinen Zugang zu proprietären Frontier-Modellen erfordert – damit richtet es sich explizit an die Community rund um lokale und offene Modelle. Der Autor betont, das Paper löse Halluzinationen nicht, sondern reframe einen spezifischen Teilbereich: das Versagen, Quellgrenzen unter kontextuellem Druck aufrechtzuerhalten.
- 7 Kontextkategorien werden unterschieden: Evidenz, User-Framing, Zitat, Quelltext, Instruktions-Kontamination, unbelegte Claims, ungültige Autorität
- Kernthese: Die Frage ist nicht 'hatte das Modell genug Kontext?', sondern 'hat es den richtigen Kontext als Evidenz identifiziert?'
- Eval ist unabhängig von Frontier-Modell-Zugang – explizit für lokale/offene Modelle konzipiert
- Paper erhebt keinen Anspruch, Halluzinationen zu lösen – nur einen Teilbereich neu zu rahmen
- Veröffentlicht als Kurzpaper/Eval-Write-up auf r/LocalLLaMA, offen für Kritik
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.