OpenAI-Audit: 30 % der SWE-Bench Pro Tasks fehlerhaft
ToolsGPT
CompaniesOpenAI
Warum es zählt
Wer Coding-Agents anhand von SWE-Bench Pro bewertet, misst zu einem erheblichen Teil Benchmark-Artefakte statt echte Fähigkeiten. Das macht Agent-gestützte Benchmark-Audits zu einem notwendigen Schritt vor jeder Modell-Evaluation im Coding-Bereich.
— Lumeric Redaktion
SWE-Bench Pro (Defective Task Rate) · Spitzenwert
27.4%
Agent-Audit (OpenAI)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
OpenAI-Audit: 30 % der SWE-Bench Pro Tasks fehlerhaft
ToolsGPT
CompaniesOpenAI
Warum es zählt
Wer Coding-Agents anhand von SWE-Bench Pro bewertet, misst zu einem erheblichen Teil Benchmark-Artefakte statt echte Fähigkeiten. Das macht Agent-gestützte Benchmark-Audits zu einem notwendigen Schritt vor jeder Modell-Evaluation im Coding-Bereich.
— Lumeric Redaktion
SWE-Bench Pro (Defective Task Rate) · Spitzenwert
27.4%
Agent-Audit (OpenAI)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.