
ARC-AGI-3: GPT-5.5 und Opus 4.7 scheitern unter 1 % an drei systematischen Denkfehlern
Die ARC Prize Foundation hat 160 Spielrunden der aktuellen Frontier-Modelle GPT-5.5 (OpenAI) und Opus 4.7 (Anthropic) auf dem neuen ARC-AGI-3-Benchmark ausgewertet. Das Ergebnis ist ernüchternd: Beide Modelle lösen weniger als 1 % der Aufgaben – während Menschen diese ohne besondere Vorkenntnisse weitgehend problemlos bewältigen. Die Analyse identifiziert drei wiederkehrende systematische Fehlertypen, die das Scheitern erklären. ARC-AGI-3 gilt als besonders anspruchsvoller Test für allgemeine Schlussfolgerfähigkeit, da er explizit darauf ausgelegt ist, Modelle zu prüfen, die durch Memorisierung und Mustererkennung auf bekannten Trainingsdaten nicht bestehen können. Die Ergebnisse deuten darauf hin, dass aktuelle Large Language Models trotz enormer Parameterzahl und aufwendigem Post-Training fundamentale Schwächen bei der flexiblen, regelbasierten Induktion neuer Konzepte zeigen – eine Kernfähigkeit menschlicher Kognition. Die Studie liefert damit gezielte Hinweise, wo Reasoning-Architekturen und Trainingsverfahren verbessert werden müssen.
- ARC Prize Foundation analysierte 160 Spielrunden auf ARC-AGI-3 mit GPT-5.5 und Anthropic Opus 4.7
- Beide Modelle erzielen unter 1 % Lösungsrate – Menschen lösen dieselben Aufgaben ohne Vorkenntnisse
- Drei systematische Fehlertypen wurden als Hauptursachen des Scheiterns identifiziert
- ARC-AGI-3 ist explizit gegen Memorisierung und Mustererkennung aus Trainingsdaten abgesichert
- Die Analyse liefert gezielte Ansatzpunkte für Verbesserungen in Reasoning und Post-Training
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGhuggingface.co1w
Axiomatisches Framework deckt systematische Schwächen in LLM-Denkrepräsentationen auf
- BENCHMARKthe-decoder.com3w
Neuer Benchmark: Bestes AI-Modell löst nur 3 % realer Wissensaufgaben
- FORSCHUNGarxiv.org3w
Studie analysiert internen Lebenszyklus von Code-Reasoning in LLMs
- FORSCHUNGarxiv.org3w
Studie: GPT-4o vs. Claude Sonnet 4 bei Bias-Erkennung in Reasoning-Traces

ARC-AGI-3: GPT-5.5 und Opus 4.7 scheitern unter 1 % an drei systematischen Denkfehlern
Die ARC Prize Foundation hat 160 Spielrunden der aktuellen Frontier-Modelle GPT-5.5 (OpenAI) und Opus 4.7 (Anthropic) auf dem neuen ARC-AGI-3-Benchmark ausgewertet. Das Ergebnis ist ernüchternd: Beide Modelle lösen weniger als 1 % der Aufgaben – während Menschen diese ohne besondere Vorkenntnisse weitgehend problemlos bewältigen. Die Analyse identifiziert drei wiederkehrende systematische Fehlertypen, die das Scheitern erklären. ARC-AGI-3 gilt als besonders anspruchsvoller Test für allgemeine Schlussfolgerfähigkeit, da er explizit darauf ausgelegt ist, Modelle zu prüfen, die durch Memorisierung und Mustererkennung auf bekannten Trainingsdaten nicht bestehen können. Die Ergebnisse deuten darauf hin, dass aktuelle Large Language Models trotz enormer Parameterzahl und aufwendigem Post-Training fundamentale Schwächen bei der flexiblen, regelbasierten Induktion neuer Konzepte zeigen – eine Kernfähigkeit menschlicher Kognition. Die Studie liefert damit gezielte Hinweise, wo Reasoning-Architekturen und Trainingsverfahren verbessert werden müssen.
- ARC Prize Foundation analysierte 160 Spielrunden auf ARC-AGI-3 mit GPT-5.5 und Anthropic Opus 4.7
- Beide Modelle erzielen unter 1 % Lösungsrate – Menschen lösen dieselben Aufgaben ohne Vorkenntnisse
- Drei systematische Fehlertypen wurden als Hauptursachen des Scheiterns identifiziert
- ARC-AGI-3 ist explizit gegen Memorisierung und Mustererkennung aus Trainingsdaten abgesichert
- Die Analyse liefert gezielte Ansatzpunkte für Verbesserungen in Reasoning und Post-Training
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGhuggingface.co1w
Axiomatisches Framework deckt systematische Schwächen in LLM-Denkrepräsentationen auf
- BENCHMARKthe-decoder.com3w
Neuer Benchmark: Bestes AI-Modell löst nur 3 % realer Wissensaufgaben
- FORSCHUNGarxiv.org3w
Studie analysiert internen Lebenszyklus von Code-Reasoning in LLMs
- FORSCHUNGarxiv.org3w
Studie: GPT-4o vs. Claude Sonnet 4 bei Bias-Erkennung in Reasoning-Traces