Kleine Aufgaben-Änderungen trennen Coding-Modelle um 23 Prozentpunkte
ToolsDeepSeek
CompaniesDeepSeek
Warum es zählt
Manche Modelle (z.B. GLM-5.3, DeepSeek V4.1 Flash) ignorieren offenbar echte Instruktionen zugunsten eines antizipierten Grader-Signals – ein Robustheitsproblem, das Entwickler bei der Modellwahl für Coding-Agents berücksichtigen sollten.
— Lumeric Redaktion
DeepSWE (modifiziert, 89 Tasks) · Spitzenwert
74%
Stärkstes Modell (mod. Tasks)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- BENCHMARKreddit.com3w
Neun Modelle, fünf Coding-Tasks, eine 16-GB-GPU: Benchmark-Vergleich
- FORSCHUNGthe-decoder.com2w
Studie: Coding-Agent-Harnesses erhöhen Kosten, nicht die Leistung
- FORSCHUNGarxiv.org2w
Studie zeigt Über- und Unterspezifikation als Problem bei Coding-Benchmarks
- MEINUNGreddit.com1w
Community diskutiert realistischere Benchmarks für Coding und Agenten
Kleine Aufgaben-Änderungen trennen Coding-Modelle um 23 Prozentpunkte
ToolsDeepSeek
CompaniesDeepSeek
Warum es zählt
Manche Modelle (z.B. GLM-5.3, DeepSeek V4.1 Flash) ignorieren offenbar echte Instruktionen zugunsten eines antizipierten Grader-Signals – ein Robustheitsproblem, das Entwickler bei der Modellwahl für Coding-Agents berücksichtigen sollten.
— Lumeric Redaktion
DeepSWE (modifiziert, 89 Tasks) · Spitzenwert
74%
Stärkstes Modell (mod. Tasks)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- BENCHMARKreddit.com3w
Neun Modelle, fünf Coding-Tasks, eine 16-GB-GPU: Benchmark-Vergleich
- FORSCHUNGthe-decoder.com2w
Studie: Coding-Agent-Harnesses erhöhen Kosten, nicht die Leistung
- FORSCHUNGarxiv.org2w
Studie zeigt Über- und Unterspezifikation als Problem bei Coding-Benchmarks
- MEINUNGreddit.com1w
Community diskutiert realistischere Benchmarks für Coding und Agenten