Das Paper „Mix-Quant" (arXiv 2605.20315) argumentiert, dass Prefilling und Dekodierung grundlegend unterschiedliche Rechenengpässe aufweisen und daher unterschiedliche Quantisierungsstrategien verlangen. Beim Prefilling werden Tokens parallel verarbeitet, Quantisierungsfehler akkumulieren sich nicht rekursiv – lange Agentic-Kontexte enthalten zudem viel Redundanz, die aggressive Kompression toleriert. W4A4 kann dort einen theoretischen 4×-Speedup liefern. Die Dekodierung hingegen ist hochgradig fehlersensitiv: Jeder gesampelte Token beeinflusst den weiteren Generierungsprozess, sodass Aktivierungsfehler sich über die Sequenz aufschaukeln können. Mix-Quant quantisiert daher nur die Kontextkodierung (Prefill), während der Dekodierungspfad in voller Präzision verbleibt. Der Reddit-Post weist ergänzend darauf hin, dass NVFP4-Dekodierung bislang keine signifikanten Bandbreitenpeak-Steigerungen (85–90 % Auslastung) gegenüber anderen Ansätzen gezeigt hat, und dass MoE-Architekturen bei Token-Generation ohnehin eine strukturelle Geschwindigkeitseinbuße gegenüber aktiven Dense-Modellen aufweisen. Die Idee der phasengetrennten Quantisierung könnte in bestehenden Inference-Engines bereits partiell umgesetzt sein.