Sonntag1. November

Das Thema Vertrauen durchzieht den heutigen Tag auf mehreren Ebenen. Besonders brisant: OpenAIs Kehrtwende bei Daybreak-Blue-Trainingsdaten — Sicherheitssession-Daten, die bislang explizit vom Training ausgenommen waren, werden ab dem 29. November genutzt. Erst nach öffentlichem Widerspruch folgte ein zweites E-Mail mit einem separaten Opt-out. Dass Interaktionen aus Safety-Reviews weiterhin für Sicherheitszwecke verwendet werden können, macht die Lage nicht einfacher. Parallel dazu zeigt Anthropics Wasserzeichen-Rollout eine strukturell ähnliche Schwäche: Vier weitere Claude-Modelle erhalten das EU-AI-Act-konforme Textmuster — doch auf Claude Opus 4.6 und Sonnet 4.6 lässt es sich durch minimale Anpassungen der Sampling-Parameter Temperature, Top-P oder Top-K schlicht umgehen. Anthropic empfiehlt, die Standardwerte beizubehalten, schließt die Lücke technisch aber nicht. Erschwerend kommt hinzu, dass Opus 4.6 laut Anthropic nach wie vor das stärkste Schreibmodell des Hauses ist — Compliance-sensible Nutzer stehen damit vor einem echten Dilemma.

Die Grenzen von LLMs als autonome Agenten werden dieser Tage nirgends plastischer illustriert als im PokeBench-Benchmark mit Grok 4.20: Das Modell steckte rund 700 Züge in Reds Haus fest, erkannte den Loop korrekt in seinen eigenen Notizen — und wiederholte ihn trotzdem. Zum Vergleich löste Grok 4.6 dieselbe Aufgabe in 316 Zügen für rund 10 Dollar; Grok 4.20 verbrauchte dabei etwa 30 Dollar. Die Lücke zwischen Selbstdiagnose und Handlungsfähigkeit ist damit nicht nur ein akademisches Problem, sondern hat direkte wirtschaftliche Konsequenzen. Gleichzeitig zeigt die ChatGPT-Account-Übernahme-Lücke, die Parameter Labs offengelegt hat, wie komplex Angriffsketten in sandboxed Umgebungen werden können: Über die MathLive-JavaScript-Bibliothek, eine postMessage-Schwachstelle und einen YouTube-oEmbed-Endpunkt auf der CSP-Allowlist ließ sich JavaScript in der ChatGPT-Elternseite ausführen und private Nutzerdaten exfiltrieren. OpenAI schloss die Lücke und zahlte 5.000 Dollar Bounty — eine Summe, die Simon Willison angesichts der Schwere der Schwachstelle als zu gering einordnet.

Dort, wo Agenten heute verlässlich funktionieren, ist die Architektur entscheidend. Googles PageBreak-Agent hat seit Januar über 500 XSS-Schwachstellen in eigenen Web-Applikationen gefunden — mit einer nahezu null Falschpositiv-Rate, weil jede Hypothese durch deterministische Validatoren gegen eine laufende Umgebung bestätigt werden muss, bevor sie an Produktteams gemeldet wird. Das Prinzip — KI generiert Kandidaten, Code verifiziert — ist dasselbe, das Arca im regulierten Finanzbereich anwendet: Der Wealth-Management-Spezialist, der zuletzt 48,5 Millionen Dollar einsammelte, lässt Agenten bis zu zehn Tage lang an Aufgaben arbeiten, aber alle sicherheitskritischen Entscheidungen — Handel, Geldtransfer — bleiben ausschließlich menschlichen Beratern vorbehalten. "All our safety restrictions are fully deterministic", formuliert es Lead AI Engineer Aman Singh. Agenten analysieren und schlagen vor; Menschen entscheiden.

Auf der Tooling-Seite verdichten sich praktische Angebote für den Agentenaufbau. Vercel Labs' agent-desktop erscheint als Open-Source-Rust-CLI unter Apache 2.0 und erlaubt KI-Agenten die plattformübergreifende Interaktion mit Desktop-GUIs via OS-Accessibility-Trees statt pixelbasierter Erkennung — auf macOS, Windows und Linux. Factory Droid 1.0 wiederum bietet einen modellunabhängigen Coding-Agent-Harness, der programmatisches Tool-Calling als Standard setzt; mit Claude Opus 5.5 erreicht er 65,2 Prozent auf Terminal-Bench bei 4,73 Dollar pro bestandener Aufgabe. Wer die Bildgenerierung lokal halten will, findet in Morgana 1.2 — einem Fotografie-Finetune des FLUX.2 Klein 4B — eine direkt einsetzbare Option: Auf einer H100 liefert das Modell in 4,6 Sekunden fotorealistische Ergebnisse ohne LoRA, die Gewichte in mehreren GGUF-Quantisierungsstufen sind frei verfügbar.

Den abschließenden Kontrapunkt setzt ausgerechnet der CEO des wertvollsten Technologieunternehmens der Welt. Apple-Chef John Ternus sagte im Wired-Interview, Apple wolle "keine KI um der KI willen" ausliefern. Wenn es richtig gemacht sei, würden Nutzer gar nicht merken, ob KI oder traditionelle Software am Werk war. Und auf die Frage, ob Agenten Apps überflüssig machen könnten, antwortete Ternus: "That could make life really easy, I suppose, but the creation of products is a deeply human and personal thing." In einer Woche, in der Agenten an Pokémon scheitern, Wasserzeichen-Compliance Lücken hat und Trainingsdaten-Versprechen still revidiert werden, klingt das weniger wie Defensivhaltung — und mehr wie nüchterne Einordnung.