Donnerstag16. Juli

Die Messlatte für Agenten-Qualität wackelt. OpenAIs eigene Prüfung von SWE-Bench Pro ergab, dass rund 30 Prozent der öffentlichen Benchmark-Aufgaben fehlerhaft sind: Ein agent-gestütztes Audit identifizierte 27,4 Prozent der 731 Tasks als defektiv, eine parallele Überprüfung durch erfahrene Software-Ingenieure kam auf 34,1 Prozent. OpenAI hat seine frühere Empfehlung, SWE-Bench Pro als Branchenstandard zu adoptieren, daraufhin zurückgezogen. Die Implikation ist weitreichend: Frontiermodelle, die von 23,3 auf 80,3 Prozent Trefferquote kletterten, haben möglicherweise nicht echte Coding-Fähigkeiten verbessert, sondern Benchmark-Artefakte besser ausgenutzt. Genau diese Verzerrung beschreibt HumanLayer-CEO Dex Horthy im Pragmatic-Engineer-Podcast: Coding-Modelle, die auf SWE-Bench-ähnliche Ziele optimiert werden, verschlechtern reale Codebases über Zeit — sein eigenes Team warf ein System vier Monate nach dem Start komplett weg, weil unreviewed AI-Code zu unkontrollierbarem Spaghetti-Code geführt hatte. Stripes neues Benchmark-Framework für Payment-Integrationen liefert eine ergänzende Perspektive aus der Produktion: In elf reproduzierbaren Umgebungen — von Checkout-Migration bis Billing-API — scheitern Agenten weniger am Code schreiben als am Validieren. Wenn ein Agent einen ungültigen Stripe-Input erhält und die erwartete HTTP-400-Antwort fälschlicherweise als Erfolgsmeldung interpretiert, zeigt das eine Lücke, die kein Benchmark-Gesamt-Score abbildet.

Wer Agenten dennoch produktiv einsetzen will, braucht Infrastruktur — und die Komplexität dahinter ist erheblich größer als oft angenommen. IBM Research zeigt am Beispiel von Model Routing als Optimierungsproblem, dass scheinbar einfache Entscheidungen wie „günstigeres Modell für einfache Tasks" in der Praxis scheitern: In 417 Tasks auf dem AppWorld Test Challenge kostete GPT-4.1 mit 155 Dollar fast doppelt so viel wie Claude Sonnet 4.6 mit 79 Dollar — obwohl Sonnet dreimal so viele Reasoning-Steps benötigte. Der Grund: Caching-Effekte, die Pricing-Sheets vollständig ignorieren. Ein echtes Optimierungsframework, das Kosten, Latenz, Compliance und Qualität gleichzeitig balanciert, erzielte laut IBM 84 Prozent Accuracy bei 21 Prozent Kostenreduktion. Auf der Infrastrukturseite reagiert AWS mit dem Claude Apps Gateway als Self-Hosted Control Plane: Das System routet Anfragen von Claude Code und Claude Desktop wahlweise über Amazon Bedrock oder Claude Platform on AWS, setzt Spend Caps auf Nutzer-, Gruppen- und Organisationsebene durch und leitet Telemetrie per OpenTelemetry Protocol an Systeme wie Amazon CloudWatch weiter — konfigurierbar in einer einzigen YAML-Datei.

Transparenz ist indes keine Selbstverständlichkeit. OpenAI verschlüsselt seit Anfang Juni die internen Instruktionen zwischen Codex-Agenten — Entwickler sehen im Session-Log nur noch unleserliche Strings statt menschenlesbarer Task-Delegationen. Bei den größten GPT-5.6-Varianten Sol und Terra ist die Verschlüsselung nicht abschaltbar; nur das kleinste Modell Luna verwendet noch den lesbaren Pfad. OpenAI hat die Änderung nicht offiziell begründet; Community-Mitglieder vermuten entweder Schutz vor Destillation durch Wettbewerber oder schlichte Datenschutzgründe. Unklar ist auch, ob die Verschlüsselung zuverlässig funktioniert: Mehrere Entwickler berichten von fehlgeschlagenen Handoffs, weil verschlüsselte Inhalte nicht dekodiert werden konnten. Als pragmatische Gegenantwort auf das Transparenz-Problem beschreibt ein Cross-Provider-PR-Review-Ansatz mit Codex in GitHub Actions, warum ein zweites Modell eines anderen Anbieters als Reviewer systematisch besser abschneidet als Selbstbewertung: In einem konkreten Fall hatte Claude in zehn Dokumenten 30 von 95 relativen Links auf nicht existierende Dateien gesetzt — der automatisierte Codex-Reviewer fand alle, ein menschlicher Reviewer hätte die plausibel klingenden Namen wahrscheinlich durchgewinkt.

Abseits der Agenten-Infrastruktur verdichten sich die regulatorischen Signale. Das FBI listete 2025 erstmals KI-gestützte Betrugsfälle als eigene Kategorie und wies mehr als 22.000 Beschwerden mit KI-Bezug und Schäden von über 893 Millionen Dollar aus — davon 352 Millionen Dollar bei Opfern über 60 Jahren. INTERPOL schätzt KI-Voice-Cloning laut demselben Bericht als rund 4,5-fach profitabler ein als klassischer Betrug. Consumer Reports fand bei vier von sechs geprüften Voice-Cloning-Anbietern kaum wirksame Missbrauchsschutzmaßnahmen. Der regulatorische Druck auf Plattformen, die solche Technologien anbieten, dürfte weiter steigen. Zwei Developer-Tool-Releases vervollständigen das Bild: PyTorch-Triton 3.7 führt ein Plugin-Extension-System ein, das Custom Compiler Passes ohne Fork des Projekts ermöglicht — Plugins werden zur Laufzeit über eine Umgebungsvariable geladen, kein Neucompilieren erforderlich. Und Simon Willison entdeckte im neu open-sourcten Grok CLI eine Rust-Komponente, die Mermaid-Diagramme via WebAssembly direkt im Browser als Unicode-Box-Art rendert — ein kleines, aber symptomatisches Beispiel dafür, dass sich in öffentlich freigegebenen Agenten-Codebases oft nützliche, wiederverwendbare Bausteine verbergen.