Auf r/LocalLLaMA sorgt ein Screenshot vom DeepSWE-Benchmark (deepswe.datacurve.ai) für Diskussion: DeepSeek V4 Pro soll demnach nur 8 % der Software-Engineering-Aufgaben korrekt lösen. Der Beitrag-Ersteller zeigt sich skeptisch gegenüber diesem Wert, da er das Modell in OpenCode einsetzt und es dort subjektiv auf Augenhöhe mit Anthropics Sonnet 4.6 empfindet. DeepSWE ist ein spezialisierter Eval, der Coding-Agenten auf realen Repository-Aufgaben (ähnlich SWE-Bench) testet. Die Diskrepanz zwischen dem niedrigen Benchmark-Wert und der positiven Alltagserfahrung ist ein bekanntes Phänomen: Evals messen unter kontrollierten, oft schwer automatisierbaren Bedingungen, während Nutzer in interaktiven Szenarien häufig bessere Ergebnisse wahrnehmen. Belastbare Vergleichswerte anderer Modelle auf DeepSWE gehen aus dem Post nicht hervor; der Screenshot auf datacurve.ai deutet aber auf eine Rangliste hin.