Gemma 4 31B QAT: MTP-Spekulation verschlechtert Dual-3090-Durchsatz
ToolsLlama
Warum es zählt
MTP/Speculative Decoding interagiert negativ mit Tensor-Parallelismus in llama.cpp: Der Synchronisations-Overhead zwischen den GPUs frisst den Spekulations-Gewinn auf. Wer Gemma 4 31B QAT auf mehreren GPUs betreibt, sollte MTP deaktivieren.
— Lumeric Redaktion
llama.cpp Token Generation (t/s) · Spitzenwert
39.8%
Dual 3090, kein MTP
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Gemma 4 31B QAT: MTP-Spekulation verschlechtert Dual-3090-Durchsatz
ToolsLlama
Warum es zählt
MTP/Speculative Decoding interagiert negativ mit Tensor-Parallelismus in llama.cpp: Der Synchronisations-Overhead zwischen den GPUs frisst den Spekulations-Gewinn auf. Wer Gemma 4 31B QAT auf mehreren GPUs betreibt, sollte MTP deaktivieren.
— Lumeric Redaktion
llama.cpp Token Generation (t/s) · Spitzenwert
39.8%
Dual 3090, kein MTP
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.