Ein Konsortium aus 64 Mathematikerinnen und Mathematikern hat den Benchmark SOOHAK entwickelt, um die tatsächlichen mathematischen Forschungsfähigkeiten von KI-Modellen zu messen. Der Datensatz umfasst 439 handschriftlich formulierte Aufgaben auf Forschungsniveau, von denen 99 absichtlich keine Lösung besitzen. Ziel ist es, nicht nur das Lösungsvermögen zu testen, sondern auch die Fähigkeit der Modelle, die Unlösbarkeit eines Problems zu erkennen und offen einzugestehen. Googles Gemini 3 Pro schneidet bei den research-level Aufgaben mit 30 Prozent am besten ab – keines der getesteten Modelle überschreitet jedoch die 50-Prozent-Marke beim Erkennen der absichtlich unlösbaren Aufgaben. Besonders auffällig: Mehr Rechenleistung verbessert zwar die Lösungsquote, hilft aber nicht dabei, fehlende Lösbarkeit zu erkennen. SOOHAK soll die Lücke zwischen vereinzelten Spitzenleistungen und breiteren wissenschaftlichen Fähigkeiten systematisch erfassen.