Freitag23. Oktober

Die Infrastrukturschicht rückt ins Zentrum – und das nicht nur theoretisch. Mit der allgemeinen Verfügbarkeit der OpenAI Decisions API liefert das Unternehmen eine direkte Antwort auf TypeSafes Jev-Modell: Statt eines spezifisch kalibrierten Entscheidungsmodells hat OpenAIs Team das bestehende Luna-Modell umkonfiguriert, um Inferenz zu beschleunigen und Kosten zu senken. Das Ergebnis: Latenzen von bisher ein bis drei Sekunden fallen auf 100 bis 180 Millisekunden – beim Sprachlernanbieter Speak sogar von 1,4 Sekunden auf 0,13 Sekunden. OpenAI visiert mittelfristig 60 ms an, was Frame-für-Frame-Videoanalyse per API-Call denkbar machen würde. Parallel dazu publiziert Liquid AI mit RIPL eine eigene Echtzeit-Inferenz-Engine, die Sub-50-ms-Inferenz für LFMs ermöglicht und auf einer NVIDIA-B200-GPU eine bis zu 28-fach niedrigere p95-Latenz als Qwen auf vLLM zeigt. Beide Releases unterstreichen, was ein MIT-Technology-Review-Kommentar zur Enterprise-Serving-Architektur präzise auf den Punkt bringt: Nicht das Modell allein, sondern das engineering system drum herum – Routing, Scheduling, Speicherverwaltung – entscheidet darüber, ob Intelligenz zuverlässig, wirtschaftlich und skalierbar ausgeliefert werden kann.

Im RAG- und Retrieval-Umfeld ergänzt Coheres Rerank 5 dieses Bild: Das Modell mit 32K-Kontextfenster erreicht 82,2 Punkte auf dem BRIGHT-Benchmark und führt mit seiner Context-Focus-Extraktion präzise Passage-Auswahl durch – die kalibrierten Relevanz-Scores sollen Downstream-Entscheidungen stabiler machen. Der Pro-Tier kostet 0,05 Dollar pro einer Million Tokens, was die Einstiegshürde für produktive Reranking-Integrationen deutlich senkt. Solche Bausteine gewinnen an Bedeutung, gerade weil die Infrastruktur-Logik für den Betrieb von KI-Agenten immer granularer wird: Modal hat nach eigenen Angaben inzwischen fast drei Milliarden Sandboxes gestartet, die Sandbox-Sparte macht rund ein Drittel des Umsatzes aus, und das Unternehmen schloss eine Series-D-Runde über 750 Millionen Dollar bei einer Bewertung von 16 Milliarden Dollar ab. Modal-CEO Erik Bernhardsson beschreibt das Kernproblem elastischer GPU-Infrastruktur als „Duration Transformation": Kapazitätsnachfrage verhält sich selten rechteckig, tatsächliche Workloads spiked und fallen – wer nur für den Peak kauft, zahlt für Leerlauf.

Das Modell-Rennen im lokalen MoE-Segment bekommt unterdessen neue Konturen. Recursive hat Flint vorgestellt, ein 40-Milliarden-Parameter-MoE-Modell für Agentic Coding, das zu großen Teilen von einem internen KI-System namens „Eureka Machine" entwickelt wurde – von der Architekturauswahl über Quantisierung bis zu spezialisierten Compute-Kerneln für Apple Silicon und NVIDIA RTX Spark. Auf einem MacBook Pro mit M4 Pro generiert Flint laut Recursive über 125 Tokens pro Sekunde. Ein Community-Benchmark auf r/LocalLLaMA, der Flint 40B gegen Ornith 1.5 und Nemotron 3.5 Lightning in einem Agentic-Coding-Setup vergleicht, liefert dabei eine instruktive Warnung: Nemotron erreichte zwar die höchste Token-Geschwindigkeit, benötigte aber mit 30 Minuten und 32 Sekunden viermal länger als Flint (7:36 Minuten) und generierte fünfmal mehr Tokens – bei einer Edit-Success-Rate von rund 17 Prozent. Rohe Token-Geschwindigkeit ist kein verlässlicher Prädiktor für Agentic-Coding-Effizienz – Edit-Qualität und Fehlerrate des Worker-Modells bestimmen maßgeblich die Gesamtkosten eines Agentic-Loops.

Dass Agenten in der Praxis noch an harte Grenzen stoßen, zeigen zwei Felder exemplarisch. Im Finanzsektor sperren US-Großbanken wie Morgan Stanley, JPMorgan, Bank of America und Wells Fargo KI-Agenten aktiv aus, die sich mit Kundenzugangsdaten einloggen – ein Verstoß gegen Bankrichtlinien, die persönliche Anmeldungen vorschreiben. Morgan Stanley hat Agenten vollständig geblockt; die meisten Institute wollen Agenten künftig allenfalls Read-only-Zugang via API gewähren, weil sie technisch nicht zuverlässig erkennen können, ob ein Agent auf Nutzeranweisung oder eigenständig handelt. In der Medizin dagegen zeichnet sich ein anderes Bild ab: Microsofts Diagnostic Orchestrator, ein Multi-Agenten-System auf Basis von GPT-5, erreichte laut einer in Science publizierten Studie auf Fällen aus dem New England Journal of Medicine eine Diagnosegenauigkeit von rund 83 Prozent – gegenüber 36 Prozent für Ärzte mit Nachschlagewerken und 22 Prozent ohne. Auf Notaufnahme-Fällen aus dem Beth Israel Deaconess Medical Center erzielte das System 80 Prozent gegenüber 47 Prozent für menschliche Ärzte, und das bei geschätzt niedrigeren Kosten. Microsoft AI CEO Mustafa Suleyman räumt allerdings ein, dass bis zum breiten klinischen Einsatz noch ein langer Weg liegt.

Schließlich stellt eine Harvard-Studie über 718 Unternehmen und 700.000 Mitarbeiter eine strukturelle Schwachstelle im KI-Einsatz bloß, die über alle Branchen relevant ist: KI-Coding-Agenten steigern die Zahl der Lines of Code um 30 Prozent, Commits um 20 Prozent und Pull Requests um 23 Prozent – doch die Zahl gelöster Jira-Issues steigt nur um 12 Prozent. Der Grund: Die durchschnittliche PR-Review-Zeit erhöhte sich um 49 Prozent, die Kommentare pro PR stiegen um 53 Prozent, und der Anteil der PRs, die Änderungen erforderten, verdoppelte sich. Mehr Code-Output verschiebt den Flaschenhals in die Qualitätssicherung – ein Effekt, der weder durch mehr KI-generierte Commits noch durch schnellere Inferenz-Engines allein aufgelöst wird, sondern Investitionen in den gesamten Entwicklungsprozess erfordert.