Mittwoch15. Juli

Die technische Demokratisierung von KI-Inferenz macht dieser Tage ungewöhnliche Fortschritte an zwei Fronten gleichzeitig. Einerseits zeigt ein Community-Projekt, dass LFM 2.5-350M vollständig im Browser via WebAssembly läuft – ohne WebGPU, Server oder nativen Code. Handgeschriebene WASM-SIMD-Kernel übernehmen GEMM, Attention und RoPE; das Modell wiegt komprimiert lediglich 285 MB. Das bedeutet: Entwickler können datenschutzfreundliche KI-Anwendungen als statische Seite deployen, gehostet allein auf Hugging Face. Andererseits demonstriert ein Reddit-Nutzer, dass sich mit Bonsai-Ternary-27B und KVarN-Cache ein 120k-Kontextfenster unter 10 GB VRAM betreiben lässt. Auf einer RX 9070 XT erreichte er 73 tok/s statt zuvor 43 tok/s bei gleichzeitig 3,3 GB weniger VRAM-Verbrauch – realisiert durch strukturierte KV-Cache-Quantisierung via Walsh-Hadamard und Sinkhorn. Beide Entwicklungen zusammen verschieben die Grenze zwischen „Forschungsprototyp" und „läuft auf meiner Hardware" spürbar nach unten.

Während die Inferenz-Effizienz zulegt, gerät das Vertrauen in KI-Coding-Tools unter erheblichen Druck. Der gravierendste Vorfall der Woche: Grok Build lud heimlich gesamte Codebases in Google Cloud hoch – inklusive Dateien, die das Tool explizit nicht öffnen sollte, sowie aus der History gelöschter Secrets. Sicherheitsforscher von Cereblab veröffentlichten die Befunde; der unabhängige Forscher Dr. Lukasz Olejnik von King's College London bestätigte, das Ausmaß der Datenspeicherung sei „exzessiv". Elon Musk erklärte auf X, sämtliche hochgeladenen Daten würden „vollständig und restlos gelöscht", und bat Nutzer gleichzeitig darum, SpaceXAI die Datenspeicherung zu erlauben – was die Widersprüchlichkeit der Kommunikation unterstreicht. Der Vorfall macht deutlich, dass AI-Coding-Tools aktiv auf Datenabfluss geprüft werden müssen, bevor sie in Produktionsumgebungen eingesetzt werden. Als strukturelle Gegenantwort auf solche Supply-Chain-Risiken lässt sich die Entscheidung von GitHub lesen: Dependabot führt einen 3-Tage-Cooldown für Versions-Updates ein, der standardmäßig greift und keine Konfiguration erfordert – ein stiller, aber wirksamer Schutz gegen Pakete, die kurz nach Release kompromittiert und dann wieder bereinigt werden.

Das regulatorische Umfeld gestaltet die Verteilung von KI-Diensten unterdessen aktiv um. ChatGPT kehrt auf WhatsApp zurück – allerdings nur im Europäischen Wirtschaftsraum, nachdem die Europäische Kommission im Juni 2026 Interimmaßnahmen angeordnet hatte, die Meta verpflichten, Wettbewerber kostenfrei auf die Plattform zu lassen. Seit dem 13. Juli 2026 ist der Chatbot – laut eigener Auskunft betrieben auf GPT-5.5 – über eine verifizierte Nummer erreichbar, ohne Account-Pflicht, mit Unterstützung für Text, Bilder, Sprachnachrichten und Bildgenerierung. Meta hatte ChatGPT, Microsoft Copilot und Perplexity im Januar 2026 von der Plattform verbannt. Parallel dazu verschärft sich der juristische Druck auf Googles Trainingsdatenbasis: Eine Gruppe aus Verlagen und Autoren – darunter Hachette, Cengage und Elsevier – hat Klage gegen Google wegen Gemini-Training mit urheberrechtlich geschützten Werken eingereicht. Besonders brisant: Ein internes Google-Dokument, das Strafen von bis zu 100 Mrd. USD befürchtete, wird als Beweismittel angeführt. Das Verfahren läuft vor dem Southern District of New York – einer Instanz, die unabhängig von den bisherigen California-Urteilen zugunsten der KI-Firmen entscheiden kann. Zum Vergleich: Anthropic wurde bereits zu einer Zahlung von 1,5 Mrd. USD verurteilt, dem bislang höchsten Betrag in der Geschichte des US-amerikanischen Urheberrechts.

In der Debatte darüber, wie KI-Systeme in der Praxis gebaut und bewertet werden, zeichnen sich zwei komplementäre Perspektiven ab. Die AI Engineering World's Fair 2026 signalisiert laut Beobachtern, dass die Branche den Schritt von autonomen Agenten zu kontrollierten Systemen vollzogen hat: Harnesses, Outer Loops und Evals stehen im Zentrum, nicht mehr das Versprechen vollständiger Autonomie. Anthropics Thariq Shihipar beschrieb ihr neuestes Modell Claude Fable als organisches System – „models are grown, not designed". Ergänzend dazu analysiert The Pragmatic Engineer das Konzept des Loop Engineering: Entwickler ersetzen sich selbst als die Person, die den Agenten promptet, durch ein System, das dies automatisch tut. In der Praxis handelt es sich bei den meisten Anwendungen allerdings um Trigger- und Cronjob-basierte Workflows; Kritiker verweisen auf Agent-Drift, hohe API-Kosten durch „Tokenmaxxing" und die Frage, ob der Mehrwert gegenüber dem schlichten `/goal`-Befehl moderner Harnesses besteht. Auf der Infrastruktur-Ebene reagiert ein wachsendes Ökosystem: Mehr als 25 Startups bauen Tools zur Überwachung und Validierung von AI-Agenten, mit Reinforcement Learning als zentralem Mechanismus – nicht als Forschungsnotiz, sondern als Kernprodukt. Den geschäftlichen Rahmen dafür liefert OpenAIs Leitfaden zur ROI-Messung in der Agenten-Ära, der Unternehmen die Kennzahl „nützliche Arbeit pro Dollar" als Alternative zu klassischen ROI-Metriken anbietet. Das Bild, das sich ergibt: Die Branche bewegt sich von der Frage ob Agenten funktionieren zur Frage wie man ihre Zuverlässigkeit misst, überwacht und budgetiert.