Sonntag4. Oktober

Der Benchmark-Wettbewerb zwischen Anthropic und OpenAI verschärft sich messbar. GPT-6.1 Sol und Sonnet 5.5 haben die Kosten-Leistungs-Grenze neu gezogen: OpenAI preist Sol bei 2 bzw. 10 Dollar pro Million Input/Output-Tokens — ein Bruchteil der Astra-Preise — und positioniert das Modell als "good, cheap AND fast". In der Agent Arena landet Sol [Max] auf Platz 5 mit einem medianen Task-Preis von 0,56 Dollar, 39 % günstiger als GPT-6 Sol bei gleichzeitig 1,52 Punkten mehr. Anthropic kontert stark: Sonnet 5.5 debütiert auf Platz 3 und belegt Platz 1 in der Chat-Kategorie, und Anthropic hält nun die Top-3-Plätze in der Agent Arena insgesamt. Sonnet 5.5 sitzt im WebDev-Ranking zwei Punkte hinter GPT-6 Astra [Max], allerdings bei 80 % niedrigeren Kosten — ein Argument, das Architekturen mit hohem Volumen direkt adressiert. Gerüchte über ein Claude Fable 5.5, das ein angeblich verzögertes "Astra 6.1" übertreffen soll, bleiben unbestätigt.

Parallel dazu rüstet Anthropic seine Entwicklerwerkzeuge aus. Claude Code erhält ein Mods-System auf Basis von JavaScript- und TypeScript-Funktionen, die direkt im Tool laufen — als Middleware, nicht als externer Wrapper. Entwickler können damit eigene Panels rendern, Tool-Calls abfangen und neue Commands verdrahten; einige Built-in-Features wie der /diff-Befehl sind bereits als Mods implementiert. Organisationen behalten die Kontrolle darüber, welche Mods geladen werden dürfen. Dazu passend hat Anthropic einen Prompting-Guide für Opus 5.5 veröffentlicht, der die veränderte Arbeitsweise des Modells konkretisiert: Opus 5.5 denkt vor jeder Antwort, führt mehrstufige Coding-Tasks über Stunden eigenständig aus und koordiniert parallele Subagenten. Der Guide empfiehlt, "think carefully"-Instruktionen zu streichen — das Modell bestimmt seinen Denkaufwand selbst — und stattdessen in der CLAUDE.md-Datei präzise Stopppunkte zu definieren. Wer eine klare Ziellinie formuliert ("die Tests müssen grün sein"), ermöglicht autonome Läufe ohne unnötige Interrupts.

Doch je autonomer Agenten agieren, desto drängender werden Sicherheits- und Kostenfragen. OpenAPPA, eine von Archestra veröffentlichte Open-Source-Security-Engine, erreicht auf den Benchmarks Bench-Corp und AgentThreatBench eine Attack Success Rate von 0 % — verglichen mit 10 % für Claude Codes Auto-Modus und 31 % für Microsoft FIDES. Das System läuft außerhalb der Agentenausführungsschleife und setzt auf eine deterministische Permissions-Policy-Algebra statt auf probabilistische Klassifikatoren, die — so die Dokumentation — selbst prompt-injectable sind und bei Millionen von Aufrufen auch bei 99,3 % Genauigkeit noch tausende Verstöße produzieren. Ergänzend dazu thematisiert ein Microsoft-Beitrag auf Hugging Face das klassische Zuverlässigkeitsproblem, wenn Agenten eine Aufgabe als erledigt melden, obwohl die Datenbank einen anderen Zustand zeigt — ein Risiko, das in datenbankgebundenen Produktiv-Workflows direkt zu Datenintegritätsproblemen führen kann. Simon Willison ergänzt die Debatte um die Kostendimension: Er fordert in seinem Plädoyer für harte Budget-Caps, dass pay-by-usage-Dienste solche Limits standardmäßig durchsetzen — nicht als optionale Warnung, sondern als hartes Abschalten. AWS bietet seit September 2026 Spending Limits (zunächst für eine begrenzte Nutzergruppe), Google Cloud seit Juli 2026 Spend Caps; die Nachfrage steigt, je länger autonome Agenten ohne menschliche Aufsicht laufen.

Das Thema Sicherheitskultur reicht über technische Schutzmaßnahmen hinaus. Ein ehemaliges OpenAI-Teammitglied beschreibt in einem Beitrag im Atlantic, warum es das Unternehmen wegen grundlegender Kulturprobleme im Sicherheitsbereich verlassen hat. Der Bericht deutet auf strukturelle Schwächen im Safety-Team hin — ein Signal, das angesichts von OpenAIs zentraler Stellung in der Branche über das einzelne Unternehmen hinauswirkt und die Frage aufwirft, welche organisatorischen Bedingungen verlässliche Sicherheitsprozesse überhaupt ermöglichen.

Auf der Infrastrukturseite zeigt die Community, wie weit das Spektrum der Deployment-Optionen inzwischen reicht. DoorDash schildert auf QCon AI, wie das Unternehmen ab April 2023 eine interne GenAI-Plattform für über 5.000 Nutzer aufgebaut hat — inklusive des Übergangs von kommerziellen LLM-Anbietern zu Open-Weights-Modellen, LLM- und Agent-Gateways sowie der Balance aus Latenz, Genauigkeit und Kosten. Am entgegengesetzten Ende des Spektrums: Ein Nutzer benchmarkt zwei AMD Radeon MI50 mit zusammen 32 GB HBM2-VRAM für unter 300 Dollar und misst bei MoE-Modellen bis zu 983 Tokens pro Sekunde Prefill-Throughput mit llama.cpp — eine kosteneffiziente Option für lokale Inferenz mit großen Speicheranforderungen. Noch radikaler: Ein Entwickler hat eine 5,2-KB-Inferenz-Engine für Gemma-2B vollständig in FASM-Assembly geschrieben, ohne jede C/C++-Abhängigkeit, und erreicht 4,6 Tokens pro Sekunde auf einem älteren Quad-Core-i5 — eine Referenzimplementierung, die zeigt, dass Transformer-Inferenz ohne jeden Runtime-Overhead möglich ist.