MTP für Qwen3.6-35B-A3B auf 6-GB-VRAM-Laptop: Kein Mehrwert
Warum es zählt
Wer Qwen3.6-35B-A3B auf VRAM-limitierten Geräten betreibt, sollte MTP meiden und stattdessen auf ubatch=2048 ohne MTP setzen – das liefert bis zu 436 tok/s beim Prompt Processing. Als Nebenbefund: q4_0 für den Draft-KV-Cache spart VRAM ohne messbare Qualitätseinbußen gegenüber q8_0.
— Lumeric Redaktion
MTP vs. No-MTP TG-Speed (tok/s) – Qwen3.6-35B-A3B · Spitzenwert
26.1%
No MTP (ub=2048)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
MTP für Qwen3.6-35B-A3B auf 6-GB-VRAM-Laptop: Kein Mehrwert
Warum es zählt
Wer Qwen3.6-35B-A3B auf VRAM-limitierten Geräten betreibt, sollte MTP meiden und stattdessen auf ubatch=2048 ohne MTP setzen – das liefert bis zu 436 tok/s beim Prompt Processing. Als Nebenbefund: q4_0 für den Draft-KV-Cache spart VRAM ohne messbare Qualitätseinbußen gegenüber q8_0.
— Lumeric Redaktion
MTP vs. No-MTP TG-Speed (tok/s) – Qwen3.6-35B-A3B · Spitzenwert
26.1%
No MTP (ub=2048)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.