Sonntag12. Juli

Die Frage, warum selbst die besten Sprachmodelle noch immer halluzinieren, beantwortet ein vielbeachtetes Stück auf Towards Data Science mit einem aufschlussreichen Vergleich: Das menschliche Gehirn halluziniert aus demselben Grund wie ein LLM — es füllt ambige Eingaben mit der plausibelsten Vorhersage auf und meldet das Ergebnis als Tatsache zurück, ohne Unsicherheit zu signalisieren. Dieses Phänomen, in der Kognitionswissenschaft als phonemic restoration bekannt, ist laut Autor Omer Rosenbaum strukturell identisch mit dem „Gap-Filling"-Mechanismus in Transformer-Modellen. Das Problem bleibt produktionsrelevant: Alle aufgeführten Fälle ereigneten sich auf Frontier-Modellen, die meisten in den vergangenen Wochen. Parallel dazu hat ein Community-Experiment ein konkretes Messwerkzeug auf den Prüfstand gestellt: J-Space-Entropie aus späten Schichten von Qwen3-4B — ein von Anthropic beschriebenes Halluzinations-Signal — wurde über rund 11.400 Beispiele und sieben Datensätze getestet. Das Fazit ist ernüchternd präzise: Bei Long-Tail-Faktenabruf (PopQA) erreicht das Signal 100 % Präzision bei nur 5 % Review-Budget; bei internalisierten Mythen (TruthfulQA) versagt es mit 84,9 % Fehlerrate im vermeintlich „sichersten" Quadranten. Schwellwerte lassen sich nicht zwischen Task-Typen übertragen — jede Deployment-Umgebung erfordert eigene Kalibrierung.

Wer LLM-Systeme kosteneffizienter machen will, ohne an Ausgabequalität zu verlieren, findet zwei komplementäre Ansätze in der heutigen Auswahl. Auf der Ebene der Prompt-Architektur beschreibt ein deterministisches Prompt-Pruning-System auf Towards Data Science, wie akkumulierter Kontext — veraltete Tool-Outputs, Duplikate, irrelevante RAG-Chunks — vor dem Modell-Aufruf entfernt werden kann, ohne kritische Abhängigkeiten zu kappen. Die Token-Reduktion beträgt 2–4 % bei reinem Chat, aber 27–32 % bei RAG-Assistenten und 33–34 % bei agentischen Workloads; selbst bei 131.000 Tokens bleibt der Preprocessing-Overhead unter 50 Millisekunden. Auf der Hardware-Ebene zeigt ein Homelab-Benchmark auf einem MS-02 Mini-PC, dass CPU-only-Inference mit llama.cpp bei 30–35B-MoE-Modellen mit 14–16 Tokens pro Sekunde die iGPU-Backends (Vulkan, SYCL) klar schlägt, die auf maximal 12 Tokens kommen. Für Homelab-Betreiber mit Intel ARC-iGPU ist der Aufwand für SYCL oder Vulkan derzeit nicht gerechtfertigt. Wer hingegen mehrere solcher Maschinen verbinden möchte, hat seit dieser Woche eine neue Option: Mesh LLM pooled verteilte GPUs über das iroh-Netzwerk zu einer einzigen OpenAI-kompatiblen API. Das System unterstützt Modelle bis 235B Parameter im Mixture-of-Experts-Format, verteilt diese per Layer-Splitting („Skippy") über mehrere Maschinen und benötigt keinen zentralen Server — Routing, NAT-Traversal und Authentifizierung übernimmt QUIC.

Im Modell-Wettbewerb liefert Meta Muse Spark 1.1 ein konkretes Kosten-Leistungs-Argument: Laut Artificial Analysis erzielt das Modell auf dem Coding Index 71,3 Punkte — mehr als GLM-5.2 (68,8) — und kostet geschätzte 0,26 Dollar pro Task gegenüber 0,37 Dollar für GLM-5.2 und 0,89 Dollar für GPT-5.4. Die Halluzinationsrate sank von 73 auf 38 Prozent, weil das Modell bei Unsicherheit häufiger die Antwort verweigert statt zu raten. Gleichzeitig verdoppelt sich der Kontext auf eine Million Tokens. Aus einer anderen Richtung kommt BAAIs Orca World Model für Robotik: Das 0,8- und 4-Milliarden-Parameter-Modell wurde ohne ein einziges Action-Label trainiert — stattdessen lernte es aus 125.000 Stunden Rohdeo und 160 Millionen Event-Beschreibungen ein abstraktes internes Weltbild, das via austauschbarer Module in Text, Bilder oder Roboterbewegungen übersetzt wird. Auf fünf Robotik-Aufgaben erreicht Orca die Performance spezialisierter Systeme, was den chronischen Datenmangel im Bereich mildern könnte.

Der heutige Blick auf die Nutzerschicht offenbart zwei gegenläufige Dynamiken. Einerseits expandiert OpenAI seinen Adressmarkt: ChatGPT soll künftig explizit Familien, Pflegende und ältere Nutzer ansprechen. Der Anteil der über-35-Jährigen unter den globalen ChatGPT-Nutzern stieg laut Sensor Tower von 26 % auf 31 %, während der Anteil der 18- bis 24-Jährigen von 34 % auf 29 % sank. In den USA nutzte im zweiten Quartal fast jeder vierte Smartphone-nutzende Elternteil ChatGPT — gegenüber 16 % im Vorjahr. OpenAI schreibt eine Produktmanagerstelle in San Francisco aus, die sich auf Erfahrungen für Familien und Trust-Safety-Frameworks konzentriert. Andererseits beschreibt ein Meinungsstück auf Hacker News eine wachsende Frustration: Wer eine echte Expertenfrage stellt — eine, die bereits stundenlange LLM-Interaktion überlebt hat — bekommt immer häufiger „Frag einfach Claude" als Antwort. Die soziale Norm des Weiterleitens, so das Argument, verschleiert schlicht das Fehlen von gelebter Erfahrung, die kein Modell replizieren kann. Abgerundet wird die heutige Ausgabe durch sqlite-utils 4.1 von Simon Willison: Das Dot-Release bringt eine `--code`-Option für direktes Zeileneinlesen aus Python-Snippets sowie umschaltbaren SQLite-Strict-Mode — bemerkenswert nicht nur wegen der Features, sondern weil Codex zur Issue-Priorisierung und zum Aufspüren von Edge Cases eingesetzt wurde, was zwei Fehler aufdeckte, die automatisierte Tests übersehen hatten.