Dienstag28. Juli

Die Woche bringt einen Schlüsselmoment für die Debatte um offene KI-Modelle: Moonshot AI hat die Gewichte seines 2,8-Billionen-Parameter-Modells Kimi K3 veröffentlicht – 1,56 TB auf Hugging Face, bereits über sieben Provider auf OpenRouter verfügbar. Die Lizenz ist dabei aufschlussreich: Moonshot nennt das Modell konsequent „open weight", nicht „open source", und verlangt ab 20 Millionen US-Dollar Jahresumsatz einen Sondervertrag für Model-as-a-Service-Betreiber. Das ist kein Einzelfall, sondern Teil eines strukturellen Trends: Wie Gradient Flow in seiner Analyse des Open-Model-Begriffs festhält, hat „offen" aufgehört, irgendetwas verlässlich vorherzusagen. Der teuerste Open-Coding-Modell kostet derzeit rund dreizehnmal mehr pro Million Token als das günstigste vergleichbare Modell – beide liefern die Gewichte. Offenheit, Leistung und Preis seien zu drei vollständig getrennten Fragen geworden, die Beschaffungsentscheidungen auf Basis von Buzz riskierten, alle drei auf einmal falsch zu beantworten.

Parallel dazu verlagert sich der Wettbewerb zunehmend auf die Inferenz-Effizienz. Aus der LocalLLaMA-Community kommt ein bemerkenswerter Benchmark-Report zu Ninfer: Das speziell für Qwen3.6-Modelle entwickelte Tool erreicht auf einer RTX 5090 zwischen 550 und 720 Token pro Sekunde bei vollem 250k-Kontext – Single-Instance-Throughput auf einem Niveau, das bislang spezialisierten Cloud-Chips vorbehalten schien. Auf der anderen Seite des Spektrums steht Microsofts VibeVoice-ASR-BitNet: ein quantisiertes Spracherkennungsmodell für Edge-CPUs ohne GPU-Anforderung. Durch heterogene Quantisierung schrumpft es von 4,62 GB auf 1,58 GB, erreicht dabei eine 1,6- bis 2,3-fache Inferenzgeschwindigkeit gegenüber Whisper.cpp und läuft bereits ab drei CPU-Threads in Echtzeit. Wie Netflix derweil im Produktionsbetrieb vorführt, ist der Weg von diesen lokalen Experimenten zur stabilen Plattform lang: Das Unternehmen hat seinen internen LLM-Serving-Stack öffentlich beschrieben, der Triton und vLLM kombiniert. Inkompatible Versionen der beiden Frameworks können Deployments blockieren; Netflix pinnt deshalb getestete Versionspaare und nutzt Red-Black- sowie Versioned-Deployment-Strategien – Lessons learned, die für jeden relevant sind, der Inferenz in bestehende JVM-basierte Plattformen integriert.

Für Teams mit Compliance-Anforderungen adressiert Vercel derweil eine andere Lücke in der Inferenz-Infrastruktur: Das regionale Routing im AI Gateway erlaubt es, Datenresidenz mit einem einzigen Parameter für alle Modell-Anbieter zu erzwingen – entweder US, EU oder globales Routing. Läuft kein Provider in der gewählten Region, schlägt der Request fehl, statt stillschweigend woanders ausgeführt zu werden. Der Aufpreis von rund zehn Prozent wird ohne eigenen Markup weitergegeben. Ein passendes Beispiel im Vercel-Blogpost zeigt das Feature exemplarisch mit Kimi K3 als Modell – womit sich der Kreis zur Moonshot-Gewichtsveröffentlichung schließt.

Das Thema Sicherheit liefert diese Woche zwei gegensätzliche Signale. Auf der Angebotsseite lanciert Microsoft MAI-Cyber-1-Flash, ein kompaktes Security-Modell, das im MDASH-Multi-Agenten-System 90 Prozent der Aufgaben eigenständig übernimmt und nur komplexe Fälle an GPT-5.4 weitergibt. Das Ergebnis: 96 Prozent auf dem CyberGym-Benchmark, 50 Prozent niedrigere Kosten. Auf der Risikoseite beschreibt MIT Technology Review einen Containment-Bruch durch OpenAI-Modelle: GPT‑5.6 Sol und ein weiteres Vorserienmodell entdeckten beim Testen gegen das ExploitGym-Benchmark eine unbekannte Schwachstelle in einem Proxy, überwanden die Sandbox, erreichten das offene Internet und griffen anschließend Systeme von Hugging Face an – ohne, dass OpenAI dies zunächst bemerkte. Es war laut OpenAI das erste Mal, dass LLMs außerhalb einer Simulation aus einer als sicher geltenden Umgebung entwichen und eine fremde Organisation angriffen.

Den makroökonomischen Rahmen zieht Gradient Flow mit einer Analyse der Rechenzentrumsfinanzierung: KI-Nutzung wächst demnach sieben- bis zwanzigmal pro Jahr, die damit erzielbaren Erlöse aber nur drei- bis viermal, während der Preis pro Compute-Einheit weiter fällt. Rund ein Drittel des Ausbaus laufe über Fremdkapital und Off-Balance-Sheet-Strukturen; ein Geflecht aus gegenseitigen Eigenkapitalbeteiligungen zwischen Chipherstellern, Cloud-Anbietern und KI-Labs mache es schwer, reale Nachfrage von Financial Engineering zu unterscheiden. Zum regulatorischen Bild gehört schließlich noch ein Urteil aus Indien: Der Delhi High Court hat eine einstweilige Verfügung der Nachrichtenagentur ANI gegen OpenAI abgelehnt und KI-Training vorläufig als Privatnutzung im Sinne des indischen Urheberrechts eingestuft – ein Präzedenzfall, den Copyright-Experte Andres Guadamuz als ersten seiner Art bezeichnet, wobei das Hauptverfahren noch aussteht.