Kleine MoE-Modelle besser als Wissens-Benchmarks suggerieren – wenn Tool-Nutzung zählt
Der Reddit-Nutzer AcanthisittaOk1699 beschreibt einen Paradigmenwechsel in seiner Modellauswahl: Nachdem er MoE-Modelle mit geringer Aktivierungsdichte zunächst wegen häufiger Halluzinationen aussortiert hatte, revidierte er diese Einschätzung nach einem Wechsel der Evaluationsperspektive. Konkreter Auslöser war Ling-3.0-Flash – ein Modell mit 124B Gesamtparametern, von denen pro Token nur rund 5B aktiv feuern. Das Modell halluziniert bei direkten Wissensfragen nachweislich, etwa indem es eine nicht existierende Library-API erfindet statt per grep nachzuschlagen. Der entscheidende Unterschied liegt im Einsatzkontext: In agentic Loops, wo Dokumentation, API-Referenzen und Codebase über Tools jederzeit abrufbar sind, ist Faktenwissen im Gewicht zweitrangig. Die relevante Eigenschaft ist stattdessen, ob das Modell bei Unsicherheit einen Tool-Call auslöst – ein Verhalten, das sich nach Einschätzung des Autors gezielt trainieren lässt. Kleine Modelle scheinen dieses Verhalten überproportional gut zu zeigen, möglicherweise weil ihr Training stärker auf Tool-Use ausgerichtet war als auf Trivia-Reproduktion. Ein kritischer Einwand bleibt: Das Modell muss zumindest wissen, dass es etwas nicht weiß – fehlt dieses Meta-Wissen, gibt es kein Tool-Call-Signal, das einen Fehler abfangen könnte. Der Autor plädiert für explizit auf Low-Confidence-Bail-out trainierte Modelle, weiß aber nicht, ob dies bereits gezielt oder nur als Nebeneffekt von Tool-Calling-RL erreicht wird.
- Ling-3.0-Flash hat 124B Gesamtparameter, aber nur ~5B aktive Parameter pro Token-Forward-Pass.
- Konkretes Fehlverhalten: Das Modell erfand eine Library-API, anstatt per grep im Codebase nachzuschlagen.
- Eine explizite Prompt-Regel ('look it up first') reduziert Halluzinationen laut Autor spürbar, löst das Problem aber nicht vollständig.
- MMLU-Scores gelten laut Autor als irrelevant für die Frage, ob ein Modell in agentic Pipelines zuverlässig Tool-Calls auslöst.
- Offen bleibt, ob Low-Confidence-Bail-out-Verhalten bei kleinen Modellen ein gezieltes Trainingsziel ist oder ein Nebeneffekt von Tool-Calling-RL.
„MMLU tells me nothing about whether the thing will grep.“
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Kleine MoE-Modelle besser als Wissens-Benchmarks suggerieren – wenn Tool-Nutzung zählt
Der Reddit-Nutzer AcanthisittaOk1699 beschreibt einen Paradigmenwechsel in seiner Modellauswahl: Nachdem er MoE-Modelle mit geringer Aktivierungsdichte zunächst wegen häufiger Halluzinationen aussortiert hatte, revidierte er diese Einschätzung nach einem Wechsel der Evaluationsperspektive. Konkreter Auslöser war Ling-3.0-Flash – ein Modell mit 124B Gesamtparametern, von denen pro Token nur rund 5B aktiv feuern. Das Modell halluziniert bei direkten Wissensfragen nachweislich, etwa indem es eine nicht existierende Library-API erfindet statt per grep nachzuschlagen. Der entscheidende Unterschied liegt im Einsatzkontext: In agentic Loops, wo Dokumentation, API-Referenzen und Codebase über Tools jederzeit abrufbar sind, ist Faktenwissen im Gewicht zweitrangig. Die relevante Eigenschaft ist stattdessen, ob das Modell bei Unsicherheit einen Tool-Call auslöst – ein Verhalten, das sich nach Einschätzung des Autors gezielt trainieren lässt. Kleine Modelle scheinen dieses Verhalten überproportional gut zu zeigen, möglicherweise weil ihr Training stärker auf Tool-Use ausgerichtet war als auf Trivia-Reproduktion. Ein kritischer Einwand bleibt: Das Modell muss zumindest wissen, dass es etwas nicht weiß – fehlt dieses Meta-Wissen, gibt es kein Tool-Call-Signal, das einen Fehler abfangen könnte. Der Autor plädiert für explizit auf Low-Confidence-Bail-out trainierte Modelle, weiß aber nicht, ob dies bereits gezielt oder nur als Nebeneffekt von Tool-Calling-RL erreicht wird.
- Ling-3.0-Flash hat 124B Gesamtparameter, aber nur ~5B aktive Parameter pro Token-Forward-Pass.
- Konkretes Fehlverhalten: Das Modell erfand eine Library-API, anstatt per grep im Codebase nachzuschlagen.
- Eine explizite Prompt-Regel ('look it up first') reduziert Halluzinationen laut Autor spürbar, löst das Problem aber nicht vollständig.
- MMLU-Scores gelten laut Autor als irrelevant für die Frage, ob ein Modell in agentic Pipelines zuverlässig Tool-Calls auslöst.
- Offen bleibt, ob Low-Confidence-Bail-out-Verhalten bei kleinen Modellen ein gezieltes Trainingsziel ist oder ein Nebeneffekt von Tool-Calling-RL.
„MMLU tells me nothing about whether the thing will grep.“
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.