CRUX: Open-World-Evaluierungen jenseits klassischer Benchmarks für Frontier-AI

Narayanan und Kapoor stellen CRUX vor – ein 17-köpfiges Forschungskonsortium, das KI-Fähigkeiten durch reale, unstrukturierte Aufgaben evaluiert. Im ersten Experiment veröffentlichte ein KI-Agent erfolgreich eine iOS-App im App Store, mit nur zwei Fehlern und Kosten von ~1.000 USD.