★ Begriff· Evaluation
HumanEval
Code-Benchmark: 164 Python-Aufgaben mit Unit-Tests. Misst Pass@1-Rate (erste Antwort korrekt). Frontier-Models 2026 bei >95% — Saturation, daher Ablöse durch LiveCodeBench, SWE-Bench.
Verwandte Tools
Auch bekannt als
human eval · swe-bench · livecodebench
Aktivität
16
Mentions in den letzten 7 Tagen
4 Wochen
⚡neu · 16×
Zuletzt erwähnt in
- OpenBonsai: Open-Source-Pipeline komprimiert BF16-Modelle auf ~2 GB Ternär-GGUF2026-10-29
- 21B MoE von Grund auf trainiert: Emergente Fähigkeiten bei 1,3B Token beobachtet2026-10-28
- RefactorForge: SE-Wissen verbessert 92B-Coding-LLM auf SWE-Bench um bis zu 18 Punkte2026-10-28
- Population-Centered Evolution steigert SWE-bench auf 72,1 %2026-10-28
- Studie: Kleine Coding-Agents nutzen Graph-Tools kaum über Hop-0 hinaus2026-10-28