Sonntag5. Juli

Die Effizienzfrage bestimmt die Hardware-Diskussion dieser Woche von unten nach oben. Auf Reddit demonstriert ein Nutzer, dass Qwen3.6-35B-A3B mit NVFP4-Quantisierung auf einer RTX Pro 6000 Blackwell via vLLM und 30 parallelen Streams rund 2.000 aggregierte Tokens pro Sekunde beim Bulk-Captioning erreicht — ein Wert, der noch vor einem Jahr Datacenter-Hardware erfordert hätte. Der entscheidende Faktor ist die MoE-Architektur: Selbst bei maximaler Parallelität werden nur etwa 61 % der Experten pro Forward-Pass aktiviert, was den Durchsatz gegenüber dichten Modellen strukturell begünstigt. NVFP4 hält das Modell dabei auf 22–23 GB, was Consumer-Hardware zugänglich macht. Einen anderen Winkel auf die gleiche Effizienzfrage eröffnet ein Community-Benchmark über 13 Modelle bei 65K bis 131K Kontext: Prefill dominiert dort mit 94 bis 99 % der Wall-Clock-Zeit. Die Metrik, auf die viele Entwickler reflexartig schauen — tg128, also Throughput bei laufender Generierung — ist für agentische Workloads mit langem Kontext damit nahezu irrelevant. Stattdessen sollten pp65K und pp131K als primäre Kennzahlen gelten, und die KV-Head-Anzahl einer Architektur erweist sich als stärkerer Prädiktor für Prefill-Skalierung als Parameterzahl oder MoE-Struktur.

Wer auf Kosteneffizienz nicht warten möchte, bis neue Hardware verfügbar ist, hat seit dieser Woche ein ungewöhnliches Open-Source-Werkzeug zur Hand: pxpipe codiert lange Texteingaben als PNGs, um den Token-Preis bei Claude Code zu drücken. Das funktioniert, weil Anthropic Bilder nach Pixeldimension berechnet, unabhängig vom enthaltenen Text — rund 3,1 Zeichen lassen sich so in jeden Bild-Token pressen. Entwickler Steven Chong dokumentiert Einsparungen von 59 bis 70 %, in einem Fable-5-Demo sank der Session-Preis von 42,21 auf 6,06 Dollar. Der Haken: Das Verfahren ist verlustbehaftet, exakte Strings wie Hashes können beim Auslesen verfälscht werden, und die Verarbeitung ist langsamer, weil das Modell einen Vision-Encoder durchlaufen muss. Zugleich illustriert das Beispiel, dass Claude-basierte Coding-Agents in der Praxis bereits erhebliche Arbeitslast übernehmen: Simon Willison ließ sqlite-utils 4.0rc2 zu großen Teilen von Claude Fable schreiben — 37 Prompts, 34 Commits, über 30 Dateien, Kosten: 149,25 Dollar. Dabei identifizierte der Agent einen kritischen Bug, den Willison selbst übersehen hatte: `delete_where()` committete nie und vergiftete die Datenbankverbindung für alle nachfolgenden Operationen.

Nicht jeder Effizienzgewinn durch KI-Unterstützung ist jedoch unproblematisch. Eine chinesische Längsschnittstudie mit mehr als 26.000 Schülerinnen und Schülern liefert die bisher schärfste empirische Warnung für den Bildungsbereich: Hausaufgabennoten stiegen um 18 %, die Bearbeitungszeit sank von 64 auf 45 Minuten — doch die Ergebnisse in geschlossenen Prüfungen fielen um 20 %, und bei Hochschulaufnahmeprüfungen um 18 bis 24 %. Besonders bedeutsam: Der volle Schaden bei Eingangsexamen zeigte sich erst nach etwa zwei Jahren, was kurzfristige Studien systematisch verblenden lässt. Rund 81 % der Langzeitnutzer, die ihre Hausaufgaben ungewöhnlich schnell abschlossen, zeigten das klassische Muster des Outsourcings — gute Noten bei der Abgabe, einbrechende Ergebnisse im Examen. Sozialwissenschaftliche Fächer waren mit einem Rückgang von 27 % am stärksten betroffen. Schüler hingegen, die ähnlich viel Zeit investierten wie ihre nicht-KI-nutzenden Mitschüler, erzielten vergleichbare oder bessere Ergebnisse in Prüfungen.

Auf der Infrastrukturebene zeichnet sich unterdessen ein europäisches Gegenmodell zu den US-Frontier-Labs ab. Mistral AI folgt laut TechCrunch dem Palantir-Playbook: forward-deployed Engineers helfen Regierungen und Großunternehmen, KI auf deren eigener Infrastruktur zu implementieren und mit ihrer Forge-Plattform eigene Modelle zu trainieren. CEO Arthur Mensch kündigte für diesen Sommer ein Open-Weight-Modell mit Early Access ab Juli 2026 an. Der ARR des Unternehmens stieg laut eigenen Angaben von 20 Millionen auf über 400 Millionen Dollar binnen eines Jahres, mit dem Ziel, noch 2026 die Milliarden-Marke zu überschreiten. Parallel dazu bleibt die Frage der lokalen Souveränität für Entwickler unmittelbar praktisch: Ein Tutorial zu Qwen 3 8B auf dem MacBook Air via Ollama beschreibt, wie ein 5-GB-Modell auf einem M4-Mac mit 24 GB Unified Memory vollständig offline betrieben werden kann — ohne API-Schlüssel, ohne Datenweitergabe, auch ohne Netzwerkverbindung. Wer den Ansatz auf einer abstrakteren Ebene einordnen möchte: typisierte Antwortverträge in RAG-Pipelines sind ein komplementärer Ansatz, um unkontrollierte Halluzinationen strukturell zu begrenzen — das Schema erzwingt, dass jedes einzelne Ausgabefeld gegen den abgerufenen Kontext prüfbar ist, statt auf Prompt-Disziplin zu vertrauen. Am Rande des Spektrums steht ein minimalistisches Experiment: Simon Willison verlinkte auf eine ASCII-Weltkarte in 445 Bytes via Deflate und JavaScript, erstellt mit Unterstützung von Codex — ein kleines Beispiel dafür, wie `fetch()` mit `data:`-URIs und dem nativen `DecompressionStream`-API genutzt werden kann, ganz ohne externe Bibliotheken.

Offengeblieben ist eine Frage, die gleich mehrere dieser Themen berührt: OpenAI hat auf einen dokumentierten Token-Clustering-Anomalie bei GPT-5.5 in Codex bislang nicht öffentlich reagiert. Ein GitHub-Issue analysiert 390.195 Response-Records aus dem Zeitraum Februar bis Juni 2026 und zeigt, dass 82 % aller Fälle, in denen exakt 516 Reasoning-Tokens produziert wurden, auf GPT-5.5 entfallen — bei einem Gesamtanteil von 19,3 % aller Responses. Die Clustering-Grenzen bei 516, 1.034 und 1.552 Tokens sehen aus wie feste Schwellenwerte, nicht wie eine natürliche Verteilung. Gleichzeitig sank die mittlere Reasoning-Intensität von Februar bis Mai von 268 auf 107 Tokens, bevor sie leicht auf 168 anstieg. Das bleibt ohne offizielle Erklärung — und wer Codex für komplexe Aufgaben einsetzt, sollte das bei der Modellwahl berücksichtigen.