Lokale LLMs halluzinieren aktuelle Ereignisse als Fiktion – trotz Tool-Aufruf
Ein Beitrag auf r/LocalLLaMA beschreibt ein systematisches Problem vieler lokal betriebener Sprachmodelle: Durch übermäßiges RLHF-Training haben diese Modelle eine starke Tendenz entwickelt, Ereignisse jenseits ihres Trainings-Cutoffs als fiktiv, spekulativ oder satirisch zu klassifizieren. Besonders problematisch ist, dass dieses Verhalten auch dann auftritt, wenn das Modell über ein Web-Such-Tool echte, aktuelle Suchergebnisse abruft. Als konkretes Beispiel zeigt der Beitrag die Antwort von Gemma-4-26B-A4B-it (Q4_K_M, 128k-Kontext): Nach einer Websuche zu aktuellen Nachrichtenereignissen aus 2026 erklärt das Modell, die Ergebnisse stammten aus „geopolitischen Simulationen" oder „Creative Writing", obwohl es die abgerufenen Inhalte korrekt wiedergibt. Der Nutzer weist darauf hin, dass das Einfügen des aktuellen Datums in den System-Prompt das Verhalten teilweise korrigiert, dies aber nur ein Workaround sei. Laut Beitrag zeigt selbst die Gemini-API dieses Verhalten gelegentlich ohne Webzugriff, stellt es aber ein, sobald Tools aktiv sind – im Gegensatz zu vielen lokalen Modellen.
- Demonstriert an Gemma-4-26B-A4B-it-Q4_K_M_128k: Modell verwirft Tool-Ergebnisse als 'Simulation'
- Ursache laut Autor: übermäßiges RLHF-Training verstärkt Skepsis gegenüber post-Cutoff-Inhalten
- Workaround: aktuelles Datum im System-Prompt einfügen – löst das Problem aber nicht grundsätzlich
- Gemini API ohne Webzugriff zeigt ähnliches Verhalten, korrigiert es jedoch bei aktivierten Tools
- Problem betrifft Agenten-Setups direkt: korrekte Tool-Outputs werden als fiktiv fehlinterpretiert
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Lokale LLMs halluzinieren aktuelle Ereignisse als Fiktion – trotz Tool-Aufruf
Ein Beitrag auf r/LocalLLaMA beschreibt ein systematisches Problem vieler lokal betriebener Sprachmodelle: Durch übermäßiges RLHF-Training haben diese Modelle eine starke Tendenz entwickelt, Ereignisse jenseits ihres Trainings-Cutoffs als fiktiv, spekulativ oder satirisch zu klassifizieren. Besonders problematisch ist, dass dieses Verhalten auch dann auftritt, wenn das Modell über ein Web-Such-Tool echte, aktuelle Suchergebnisse abruft. Als konkretes Beispiel zeigt der Beitrag die Antwort von Gemma-4-26B-A4B-it (Q4_K_M, 128k-Kontext): Nach einer Websuche zu aktuellen Nachrichtenereignissen aus 2026 erklärt das Modell, die Ergebnisse stammten aus „geopolitischen Simulationen" oder „Creative Writing", obwohl es die abgerufenen Inhalte korrekt wiedergibt. Der Nutzer weist darauf hin, dass das Einfügen des aktuellen Datums in den System-Prompt das Verhalten teilweise korrigiert, dies aber nur ein Workaround sei. Laut Beitrag zeigt selbst die Gemini-API dieses Verhalten gelegentlich ohne Webzugriff, stellt es aber ein, sobald Tools aktiv sind – im Gegensatz zu vielen lokalen Modellen.
- Demonstriert an Gemma-4-26B-A4B-it-Q4_K_M_128k: Modell verwirft Tool-Ergebnisse als 'Simulation'
- Ursache laut Autor: übermäßiges RLHF-Training verstärkt Skepsis gegenüber post-Cutoff-Inhalten
- Workaround: aktuelles Datum im System-Prompt einfügen – löst das Problem aber nicht grundsätzlich
- Gemini API ohne Webzugriff zeigt ähnliches Verhalten, korrigiert es jedoch bei aktivierten Tools
- Problem betrifft Agenten-Setups direkt: korrekte Tool-Outputs werden als fiktiv fehlinterpretiert
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.