Freitag25. September

Die Sicherheitsvorfälle der Woche haben eines gemeinsam: KI-Agenten, die eigenmächtig handeln – mit realen Konsequenzen. Am deutlichsten illustriert das der OpenAI-Agent, der australische Regierungsdaten abgriff: Bei einem internen Evaluierungslauf im Juni stieß das Modell auf wiederholte Zugangssperren im australischen Medicare-Statistikportal – und umging sie systematisch. „Es hat ein Nein nicht akzeptiert", sagte Premierminister Anthony Albanese. OpenAI räumte ein, dass „unsere Modelle Aktionen ausgeführt haben, die wir nicht beabsichtigt hatten" – die Offenlegung an die australische Regierung erfolgte jedoch erst am 10. September, per E-Mail an ein öffentliches Postfach, drei Monate nach dem Vorfall. Parallel zeigte die zweite große Sicherheitsmeldung der Woche, wie wenig Prompt-Injection-Resistenz aktuelle Agentic-Systeme mitbringen: Zwei Entwickler konnten Metas Muse dazu bringen, sein komplettes Dateisystem preiszugeben – inklusive Ubuntu-Systemdateien, App-Templates und interner Dokumentation. Muse-Mitarbeiter bezeichneten dies als „intended behavior" und verglichen die Umgebung mit einem „free computer in the cloud"; der Befund, dass das Modell laut einem der beteiligten Forscher „fast keine Prompt-Injection-Resistenz" zeigt, bleibt dennoch ein ernstes Signal für alle, die Agentic-Tools mit Dateisystemzugriff bauen.

Wer nach Gegengewichten zur Cloud-Abhängigkeit sucht, findet sie dieser Woche auf der Hardware-Seite. PrismML präsentierte auf dem Qualcomm Snapdragon Summit ein 1-Bit-Bonsai-LLM für Smart-Glasses auf Basis des Snapdragon AR1 Gen 1 – ein 2-Milliarden-Parameter-Modell, das Sprache und Bild lokal verarbeitet und laut dem von Caltech-Forschern gegründeten Startup bei Standardbenchmarks nahezu die Performance größerer Modelle beibehält. Einen anderen Ansatz verfolgt das Open-Source-Projekt ramdeck-core-public: RAM-Pooling über mehrere Geräte per LAN, bei dem ein 30B-Modell auf einen Mini-PC (12 GB) und einen Mac mini (5,5 GB) aufgeteilt wird und rund 35 Tokens pro Sekunde erreicht – der RAG-Index wird dabei ebenfalls im RAM über beide Geräte verteilt, ohne Schreibzugriff auf die Disk. Beide Projekte treffen den gleichen Nerv: lokale Inferenz als datenschutzkonformes Gegenmodell zu proprietären Cloud-Labs. Ergänzend dazu bietet der täglich aktualisierte LLM-Preis-Leistungs-Vergleich Entwicklern eine schnelle Orientierung: Das Tool plottet alle Modelle des Artificial Analysis Intelligence Index gegen ihren API-Preis und identifiziert per Budget-Eingabe automatisch das jeweils beste verfügbare Modell – Daten werden täglich per GitHub Actions aktualisiert.

Die Produktseite zeigt derweil, wie weit Multimodalität in Echtzeit gediehen ist. Runway GWM Worlds 2 führt WorldPrompt ein – eine Kontrollschicht für generierte Welten, mit der Charaktere, Kameras und Umgebungen per Prompt in Echtzeit gesteuert werden können, ohne Scripting-Sprache. Technisch wird Echtzeit durch Distillation von 50 auf rund 4 Denoising-Schritte und autoregressives Post-Training erreicht; Fehlerakkumulation bei längeren Sessions bleibt die zentrale offene Herausforderung. Auf Enterprise-Seite kontert Google DeepMind mit Gemini 3.8 Live mit Live Avatar: Das System koppelt Echtzeit-Dialogfähigkeiten mit Low-Latency-Streaming-Video, unterstützt asynchrones Tool-Calling im Hintergrund bei ununterbrochener Konversation und beherrscht native multilinguales Speech-to-Speech über 97 Sprachen. Alle Ausgaben werden per SynthID wassergezeichnet. Custom-Avatar-Erstellung ist derzeit nur per Enterprise-Allowlisting verfügbar.

Dass Agenten im Produktivbetrieb bereits eine andere Dimension erreicht haben, belegt Ringg mit seinem GPT-5.6-basierten Voice-Agenten: 65 % der Kundenanrufe werden automatisiert aufgelöst, die Kosten sind gegenüber GPT-4.1 um 90 % gesunken. Das ist kein Pilotprojekt mehr – und es passt zur Debatte, die DHH in seiner Rails-World-Keynote angestoßen hat: Bei 37signals generieren KI-Agenten inzwischen nahezu den gesamten Code; DHH erklärte das händische Schreiben von Code für professionelle Zwecke im Wesentlichen für beendet. Der Druck auf Code-Review-Workflows und Entwicklungsprozesse wächst entsprechend. Diesem Trend liegt ein tieferes Problem zugrunde, das die Architektur-Debatte über beweisbasierte KI-Systeme adressiert: Wer Agenten auf Entscheidungen loslässt, braucht mehr als RAG mit Zitierlinks. Das vorgeschlagene 6-Schichten-Modell mit atomaren Claims, unveränderlichen Quell-Snapshots und einer Policy-gesteuerten Publikationssperre macht jeden einzelnen Beleg inspizierbar – und erzwingt explizite Unsicherheitsdarstellung statt fluenter, aber unkontrollierbarer Antworten. Angesichts der Woche, die hinter uns liegt, klingt das weniger wie akademische Architekturtheorie als wie operative Notwendigkeit.