Praxisbericht: MTP-Modus verschlechtert Qualität bei Qwen 3.6 und Gemma 4
Multi-Token Prediction (MTP) ist eine Technik, bei der das Modell mehrere Token gleichzeitig vorschlägt, um die Generierungsgeschwindigkeit zu erhöhen – theoretisch ohne Qualitätseinbußen, da ein Verifikationsschritt falsche Tokens verwirft. Der Nutzer /u/Significant_Bar_460 betreibt Qwen3.6-27B im Q8_K_XL-Quantisierungsformat auf vier NVIDIA RTX 5070 Ti, die über einen bifurzierten PCIe-x16-Slot (4×4 mit Risern) verbunden sind. Im direkten Vergleich mit der Non-MTP-Variante liefert das MTP-Modell bei Code-Reviews via Opencode CLI in 8 von 10 Fällen schlechtere Ergebnisse: weniger Befunde, weniger Detail, keine Fix-Snippets. Gleichzeitig verbraucht der MTP-Lauf rund 50 % mehr Kontext-Tokens (~60k vs. ~40k) und senkt den Prompt-Processing-Durchsatz von ~2000 pp/s auf ~1300 pp/s. Der TG-Wert verdoppelt sich zwar von ~50–60 tg/s auf ~100–120 tg/s, doch da agentische Tasks viel Prompt-Verarbeitung beinhalten, beträgt der reale Zeitvorteil von MTP lediglich etwa 20 %. Der Nutzer setzt `--spec-type draft-mtp` mit `--spec-draft-n-max 2` ein und nutzt Flash Attention, KV-Offload sowie Tensor-Split über alle vier GPUs. Dasselbe Qualitätsproblem trat auch beim Gemma-4-31B-it-QAT-Modell von Unsloth auf, was nahelegt, dass es sich nicht um ein modellspezifisches, sondern um ein architekturelles oder Implementierungsproblem im MTP-Modus von llama.cpp handelt.
- Hardware: 4× RTX 5070 Ti auf einem einzigen PCIe-x16-Slot, bifurkiert auf 4×4 über Riser-Kabel — eine ungewöhnliche, potenziell bandbreitenlimitierte Konfiguration.
- MTP-Flags: --spec-type draft-mtp und --spec-draft-n-max 2; der Draft-MTP-Head schlägt jeweils 2 zusätzliche Token vor, die das Basismodell anschließend verifiziert.
- GGUF-Quellen: MTP-Variante von unsloth/Qwen3.6-27B-MTP-GGUF, Non-MTP von unsloth/Qwen3.6-27B-GGUF — beide Q8_K_XL-Quantisierung.
- Kontext-Konfiguration: --ctx-size 262144, --ctx-checkpoints 128, --cache-reuse 512, --no-context-shift — sehr große Kontextfenster, die VRAM-Druck erhöhen.
- Auch Gemma-4-31B-it-QAT von Unsloth zeigt laut Nutzer dasselbe Qualitätsmuster beim Wechsel zwischen MTP- und Non-MTP-Betrieb.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Praxisbericht: MTP-Modus verschlechtert Qualität bei Qwen 3.6 und Gemma 4
Multi-Token Prediction (MTP) ist eine Technik, bei der das Modell mehrere Token gleichzeitig vorschlägt, um die Generierungsgeschwindigkeit zu erhöhen – theoretisch ohne Qualitätseinbußen, da ein Verifikationsschritt falsche Tokens verwirft. Der Nutzer /u/Significant_Bar_460 betreibt Qwen3.6-27B im Q8_K_XL-Quantisierungsformat auf vier NVIDIA RTX 5070 Ti, die über einen bifurzierten PCIe-x16-Slot (4×4 mit Risern) verbunden sind. Im direkten Vergleich mit der Non-MTP-Variante liefert das MTP-Modell bei Code-Reviews via Opencode CLI in 8 von 10 Fällen schlechtere Ergebnisse: weniger Befunde, weniger Detail, keine Fix-Snippets. Gleichzeitig verbraucht der MTP-Lauf rund 50 % mehr Kontext-Tokens (~60k vs. ~40k) und senkt den Prompt-Processing-Durchsatz von ~2000 pp/s auf ~1300 pp/s. Der TG-Wert verdoppelt sich zwar von ~50–60 tg/s auf ~100–120 tg/s, doch da agentische Tasks viel Prompt-Verarbeitung beinhalten, beträgt der reale Zeitvorteil von MTP lediglich etwa 20 %. Der Nutzer setzt `--spec-type draft-mtp` mit `--spec-draft-n-max 2` ein und nutzt Flash Attention, KV-Offload sowie Tensor-Split über alle vier GPUs. Dasselbe Qualitätsproblem trat auch beim Gemma-4-31B-it-QAT-Modell von Unsloth auf, was nahelegt, dass es sich nicht um ein modellspezifisches, sondern um ein architekturelles oder Implementierungsproblem im MTP-Modus von llama.cpp handelt.
- Hardware: 4× RTX 5070 Ti auf einem einzigen PCIe-x16-Slot, bifurkiert auf 4×4 über Riser-Kabel — eine ungewöhnliche, potenziell bandbreitenlimitierte Konfiguration.
- MTP-Flags: --spec-type draft-mtp und --spec-draft-n-max 2; der Draft-MTP-Head schlägt jeweils 2 zusätzliche Token vor, die das Basismodell anschließend verifiziert.
- GGUF-Quellen: MTP-Variante von unsloth/Qwen3.6-27B-MTP-GGUF, Non-MTP von unsloth/Qwen3.6-27B-GGUF — beide Q8_K_XL-Quantisierung.
- Kontext-Konfiguration: --ctx-size 262144, --ctx-checkpoints 128, --cache-reuse 512, --no-context-shift — sehr große Kontextfenster, die VRAM-Druck erhöhen.
- Auch Gemma-4-31B-it-QAT von Unsloth zeigt laut Nutzer dasselbe Qualitätsmuster beim Wechsel zwischen MTP- und Non-MTP-Betrieb.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.