Aktuelle Reasoning-Modelle neigen dazu, jede Antwort mit gleicher Sicherheit zu formulieren – unabhängig davon, ob sie korrekt sind oder raten. MIT CSAIL hat dieses Überconfidence-Problem auf einen spezifischen Fehler im Trainingsprozess zurückgeführt. Die neue Methode namens RLCR (Reinforcement Learning with Confidence Rewards) soll Modellen beibringen, in unsicheren Fällen explizit „Ich bin nicht sicher" zu sagen, anstatt mit falscher Zuversicht zu antworten. Laut den Forschern gelingt dies, ohne die Gesamtgenauigkeit des Modells zu beeinträchtigen. Überzeugend klingende, aber fehlerhafte Ausgaben gelten als eines der schwerwiegendsten Vertrauensprobleme beim produktiven Einsatz von KI-Systemen, insbesondere in sicherheitskritischen Bereichen.