Multi-GPU-Setup: MTP langsamer als direkte Inferenz bei 4× RTX 3090
ToolsQwen
Warum es zählt
Bei layer-gesplitteter Multi-GPU-Inferenz überwiegt der PCIe-Synchronisationsaufwand von MTP den Gewinn durch akzeptierte Draft-Tokens — MTP sollte in solchen Setups deaktiviert werden.
— Lumeric Redaktion
Decode-Geschwindigkeit (t/s), Qwen3.6 35B Q6 auf 4× RTX 3090 · Spitzenwert
82%
Ohne MTP
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Multi-GPU-Setup: MTP langsamer als direkte Inferenz bei 4× RTX 3090
ToolsQwen
Warum es zählt
Bei layer-gesplitteter Multi-GPU-Inferenz überwiegt der PCIe-Synchronisationsaufwand von MTP den Gewinn durch akzeptierte Draft-Tokens — MTP sollte in solchen Setups deaktiviert werden.
— Lumeric Redaktion
Decode-Geschwindigkeit (t/s), Qwen3.6 35B Q6 auf 4× RTX 3090 · Spitzenwert
82%
Ohne MTP
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.