Das Experiment von Reddit-Nutzer /u/professormunchies untersucht eine konkrete Frage aus der lokalen Inferenzpraxis: Wie stark sinkt die Akzeptanzrate beim spekulativen Dekodieren (MTP), wenn das Hauptmodell (Trunk) aggressiver quantisiert wird? Beim spekulativen Dekodieren schlägt ein kleines Draft-Modell mehrere Token vor, die das Hauptmodell dann in einem einzigen Forward-Pass verifiziert – je besser Trunk und Drafter übereinstimmen, desto höher die Akzeptanzrate und damit der Speedup. Als Trunk diente Gemma 4-31B-it in vier Quantisierungsstufen (Q5_K_S, IQ4_XS, IQ3_M, IQ2_M), als Drafter das zugehörige Gemma 4-31B-it-assistant-MTP-Modell. Die Messung erfolgte mit 5 gemischten Coding- und Reasoning-Prompts à 200 Token, Temperatur 0,3, deaktiviertem Thinking-Modus und je 3 Wiederholungen mit unterschiedlichen Seeds. Auffällig ist, dass IQ4_XS und IQ3_M bei n=1 mit 86,7 % bzw. 86,8 % nahezu gleichauf liegen und Q5_K_S mit 88,5 % nur knapp überbieten. Selbst das 2-Bit-Modell IQ2_M hält bei n=1 noch 84,5 %. Mit steigender Draft-Tiefe (n=2 bis n=4) fällt die Akzeptanzrate über alle Quanten hinweg ab, bleibt aber auch bei IQ2_M und n=4 noch bei 61,2 %. Hardware-seitig betont der Autor, dass CUDA-Systeme mit n=2 den größten Speedup erzielen, während Apple Metal nur marginal von n=1 profitiert. Die gesamte Umgebung lässt sich mit llama-server und dem öffentlichen GGUF-Repository pearsonkyle/gemma4-31b-imatrix-mtp-GGUF reproduzieren.