Montag20. Juli

Die Woche gehört dem Open-Model-Feld – und sie zeigt, dass Offenheit längst kein ethisches Bekenntnis mehr ist, sondern eine Vertriebsstrategie. Kimi K3, Inkling, Bonsai 27B und GPT-Red markieren vier verschiedene Antworten auf dieselbe Machtfrage: Wer darf große KI besitzen, anpassen und betreiben? Moonshot AIs Kimi K3 mit 2,8 Billionen Parametern ist dabei das auffälligste Signal – das erste open-weights-Modell der Drei-Billionen-Klasse, auch wenn die vollständigen Gewichte erst später im Monat erscheinen sollen. Die zugehörigen Benchmark-Daten zeichnen ein differenziertes Bild: Im Code Arena Frontend-Ranking belegt K3 mit einem Score von 1.679 den Spitzenplatz und übertrifft Claude Fable 5 sowie GPT-5.6 Sol – das erste Mal, dass ein chinesisches Modell diese Benchmark anführt. Auf dem FrontierMath Tier 4, den härtesten Matheaufgaben von Epoch AI, landet K3 jedoch bei lediglich 39 Prozent, während Modelle von OpenAI und Anthropic dort teils nahe 90 Prozent erreichen. Spezialisierung als Marktpositionierung, keine universelle Überlegenheit.

Die Infrastruktur, die solche Modelle lokal lauffähig macht, reift parallel dazu in sichtbarer Geschwindigkeit. Ghost, eine native macOS-Menüleisten-App, gibt lokalen Modellen via Ollama und LM Studio ein vollständiges Tool-Harness mit über 60 verifizierten Aktionen, lokalem SQLite-RAG und automatischer Calling-Convention-Erkennung – ohne dass Daten das Gerät verlassen. Eine Stufe tiefer auf der Stack-Ebene setzt Eider an: Die von Grund auf in Rust und CUDA gebaute Inference-Runtime für den NVIDIA DGX Spark (GB10, Grace Blackwell) löst ein konkretes Problem, das vLLM auf dieser Hardware bisher nicht bewältigen konnte – das Paging großer Mixture-of-Experts-Modelle wie Step-3.7-Flash in den Speicher. Beide Projekte adressieren denselben Engpass: Leistungsstarke Modelle existieren, aber die Werkzeugkette, um sie in kontrollierten Umgebungen produktiv zu betreiben, hinkt hinterher. Dass OpenAI gleichzeitig die Codex-Kontextgröße von 372k auf 272k Token reduziert – ein Rückschritt um rund 100.000 Token –, zeigt, dass selbst Cloud-Anbieter ihre Inferenzressourcen aktiv bewirtschaften müssen. Für Entwickler, die mit großen Codebasen nah am bisherigen Limit operierten, kann das Workflows brechen.

Auf der Produktionsseite liefert Google mit AlphaEvolve in General Availability das prägnanteste Beispiel dafür, was passiert, wenn sich ein Forschungsprojekt zu einem messbaren Unternehmensprodukt verdichtet. Das Deployment-Modell ist dabei bewusst datenschutzfreundlich konstruiert: Die Evaluierungsfunktion läuft auf der eigenen Infrastruktur des Kunden, AlphaEvolves API generiert Kandidatenprogramme, die lokal bewertet werden. Die veröffentlichten Kundenbeispiele sind konkret: Klarna verdoppelte den ML-Trainingsdurchsatz und explorierte rund 6.000 Kandidatenprogramme in drei Wochen; Kinaxis steigerte die Prognosegenauigkeit um 22 Prozent bei gleichzeitig 90 Prozent kürzerer Laufzeit. Der Kommentar eines Hacker-News-Nutzers, der anlässlich des erweiterten Papers im Mai zitiert wird, trifft die Grenze des Systems präzise: AlphaEvolve funktioniert dort, wo das Problem eine messbare, automatisierbare Bewertungsfunktion hat – Geschäftslogik ohne klare Erfolgsmetriken bleibt schwieriger Terrain. Dieser Vorbehalt verbindet sich direkt mit dem Befund über Agentic-AI-Deployments: Ein Autor schildert, wie ein Kundenoperations-Agent eines SaaS-Unternehmens alle zwölf Qualitätsmetriken seines Eval-Harness bestand – und trotzdem abgeschaltet wurde, weil die CFO nachwies, dass die Kosten pro aufgelöstem Ticket höher lagen als im rein menschlichen Workflow. Token-Preise sanken, aber Tokens pro Auflösung stiegen schneller. Das Eval-Framework maß Richtigkeit; es maß keine Wirtschaftlichkeit.

Zwei weitere Entwicklungen zeigen, wohin sich KI-Infrastruktur in größerem Maßstab bewegt. Netflix hat seine gesamte Empfehlungsarchitektur ersetzt: GenPage, ein einzelnes generatives Modell, übernimmt die frühere mehrstufige Pipeline aus Kandidatengenerierung, Ranking und Seitenlayout in einem Schritt. A/B-Tests belegen statistisch signifikante Verbesserungen beim Kern-Engagement-Wert; die End-to-End-Latenz sank um 20 Prozent. Bemerkenswert ist ein Befund über das Skalierungsverhalten: Eine Vergrößerung des Modells von 120M auf 900M Parameter reduzierte den WBC-Loss um rund 1,3 Prozent, während kumulative Prompt-Anreicherung rund 6,9 Prozent Verbesserung brachte. Am anderen Ende des Spektrums – geografisch wie architektonisch – steht Jensens Huangs Tokio-Besuch: Japan bündelt rund 44 Unternehmen unter dem Konsortium Noetra, das bis zu eine Billion Yen über fünf Jahre investieren soll, um physische KI für Robotik und Fabrikhallen zu entwickeln. Die Hardware kommt von Nvidia: eine Vera-Rubin-AI-Factory mit 13.750 Vera CPUs und 27.500 Rubin GPUs, geplanter Start 2028. Fanuc, Yaskawa, Kawasaki Heavy, Sony und weitere Konzerne haben sich verpflichtet, auf Nvidias Cosmos-Modellen aufzubauen; Cosmos 3 Edge läuft direkt auf Jetson-Thor-Chips innerhalb der Maschinen. Nicht zu vergessen: Current AI baut eine öffentliche Gegeninfrastruktur auf – finanziert mit insgesamt 400 Millionen Dollar, darunter ein Startbeitrag der französischen Regierung von 100 Millionen Dollar. Das offene Chatbot-Projekt Alpha Chat, das Offline-Gerät Suno Sutra für 22 indische Sprachen und 3,2 Millionen Dollar in Grants für Projekte in Kenia, dem Libanon und Brasilien bilden die erste operative Schicht einer KI-Infrastruktur, die explizit nicht kommerziellen Plattformen gehören soll. Die Architekturfragen, die dieser Tag aufwirft – wer kontrolliert die Gewichte, wer trägt die Inferenzkosten, wer definiert die Eval-Metriken –, sind am Ende dieselben, egal ob man sie in einem SaaS-Unternehmen, einer Netflix-Homepageliste oder einer Fabrikhalle in Osaka stellt.