Qwen 3.8 27B Q8 mit MTP 50% schneller als ohne MTP auf Apple Silicon
Der Reddit-Nutzer jcmyang berichtete von einem unerwarteten Befund beim Benchmarking von Qwen 3.8 27B auf einem Apple M1 Max mit 64 GB Unified Memory. Er verglich zwei Quantisierungsstufen – Q6 und Q8 – jeweils mit und ohne Multi-Token-Prediction (MTP), einem Mechanismus, der durch parallele Vorhersage mehrerer Token den Durchsatz steigern soll. Ohne MTP verhielt sich das System erwartungsgemäß: Q6 war rund 10 % schneller als Q8, da kleinere Quants weniger Speicherbandbreite benötigen. Mit aktiviertem MTP kehrte sich das Bild jedoch überraschend um: Q8+MTP war 50 % schneller als Q8 ohne MTP, während Q6+MTP sogar 10 % langsamer wurde als Q6 ohne MTP. In absoluten Messwerten bedeutet das: Q6 ohne MTP brauchte 12,4 Sekunden, Q6 mit MTP 11,6 Sekunden – Q8 ohne MTP 11,1 Sekunden, Q8 mit MTP aber nur 6,2 Sekunden (impliziert aus der 50-%-Angabe). Die Ursache ist noch unklar; diskutiert wird, ob MTP bei Q8 besser mit der Apple-Silicon-Speicherarchitektur oder den llama.cpp-Optimierungen harmoniert. Das Experiment wurde mit llama.cpp durchgeführt, lässt sich aber laut Poster auch in LM Studio replizieren, das llama.cpp als Backend nutzt.
- Hardware: Apple M1 Max mit 64 GB Unified Memory, getestet mit llama.cpp und LM Studio.
- Konkrete Messwerte: Q6 ohne/mit MTP = 12,4 s / 11,6 s; Q8 ohne/mit MTP = 11,1 s / 16,2 s — Q8+MTP ist damit absolut das schnellste Setup.
- MTP (Multi-Token-Prediction) ist ein Inference-Feature in llama.cpp, das durch simultane Vorhersage mehrerer Token die Ausgabegeschwindigkeit erhöhen soll.
- Der Poster jcmyang stuft das Ergebnis selbst als 'strange and unexpected' ein und sucht nach einer Erklärung für das konträre Verhalten der beiden Quants.
- LM Studio wird explizit als alternatives Frontend genannt, in dem der Effekt ebenfalls reproduzierbar sein soll.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Qwen 3.8 27B Q8 mit MTP 50% schneller als ohne MTP auf Apple Silicon
Der Reddit-Nutzer jcmyang berichtete von einem unerwarteten Befund beim Benchmarking von Qwen 3.8 27B auf einem Apple M1 Max mit 64 GB Unified Memory. Er verglich zwei Quantisierungsstufen – Q6 und Q8 – jeweils mit und ohne Multi-Token-Prediction (MTP), einem Mechanismus, der durch parallele Vorhersage mehrerer Token den Durchsatz steigern soll. Ohne MTP verhielt sich das System erwartungsgemäß: Q6 war rund 10 % schneller als Q8, da kleinere Quants weniger Speicherbandbreite benötigen. Mit aktiviertem MTP kehrte sich das Bild jedoch überraschend um: Q8+MTP war 50 % schneller als Q8 ohne MTP, während Q6+MTP sogar 10 % langsamer wurde als Q6 ohne MTP. In absoluten Messwerten bedeutet das: Q6 ohne MTP brauchte 12,4 Sekunden, Q6 mit MTP 11,6 Sekunden – Q8 ohne MTP 11,1 Sekunden, Q8 mit MTP aber nur 6,2 Sekunden (impliziert aus der 50-%-Angabe). Die Ursache ist noch unklar; diskutiert wird, ob MTP bei Q8 besser mit der Apple-Silicon-Speicherarchitektur oder den llama.cpp-Optimierungen harmoniert. Das Experiment wurde mit llama.cpp durchgeführt, lässt sich aber laut Poster auch in LM Studio replizieren, das llama.cpp als Backend nutzt.
- Hardware: Apple M1 Max mit 64 GB Unified Memory, getestet mit llama.cpp und LM Studio.
- Konkrete Messwerte: Q6 ohne/mit MTP = 12,4 s / 11,6 s; Q8 ohne/mit MTP = 11,1 s / 16,2 s — Q8+MTP ist damit absolut das schnellste Setup.
- MTP (Multi-Token-Prediction) ist ein Inference-Feature in llama.cpp, das durch simultane Vorhersage mehrerer Token die Ausgabegeschwindigkeit erhöhen soll.
- Der Poster jcmyang stuft das Ergebnis selbst als 'strange and unexpected' ein und sucht nach einer Erklärung für das konträre Verhalten der beiden Quants.
- LM Studio wird explizit als alternatives Frontend genannt, in dem der Effekt ebenfalls reproduzierbar sein soll.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.