Dual-3090-Setup: Praxisfragen zu DFlash und MTP Speculative Decoding mit Qwen3.6
Ein Reddit-Nutzer (u/runcertain) beschreibt seine Konfiguration aus zwei RTX 3090 (P2P-kommunizierend), AMD Ryzen 9900X, 32 GB RAM auf einem Gigabyte B850 AI TOP unter Ubuntu 24.04 mit CUDA 13.0. Er testet zwei aktuelle Speculative-Decoding-Ansätze: DFlash über den beellama.cpp-Fork (mit spiritbuun-Drafts und Unsloth Q5_K_S) sowie MTP direkt in llama.cpp mit Unsloth Qwen3.6-27B in UD-Q4_K_XL und UD-Q8_K_XL. Beide Setups liefern ihm 40–50 t/s — kaum mehr als die ~40 t/s, die er mit einem einfachen Qwen3.5-27B ohne Speculative Decoding erreicht. Der Beitrag dokumentiert detailliert die verwendeten Startbefehle inklusive Flash-Attention, KV-Cache-Quantisierung (q8_0, turbo4/turbo3_tcq), Context-Größen bis 245.600 Token und MTP-Parameter (--spec-draft-n-max 6). Die Frage, ob P2P-Bandbreite zwischen den GPUs, Quantisierungswahl oder fehlendes Batch-Tuning der Engpass ist, bleibt offen und spiegelt eine breitere Community-Diskussion über realistische Speedups von Speculative Decoding auf Dual-GPU-Consumer-Setups wider.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Dual-3090-Setup: Praxisfragen zu DFlash und MTP Speculative Decoding mit Qwen3.6
Ein Reddit-Nutzer (u/runcertain) beschreibt seine Konfiguration aus zwei RTX 3090 (P2P-kommunizierend), AMD Ryzen 9900X, 32 GB RAM auf einem Gigabyte B850 AI TOP unter Ubuntu 24.04 mit CUDA 13.0. Er testet zwei aktuelle Speculative-Decoding-Ansätze: DFlash über den beellama.cpp-Fork (mit spiritbuun-Drafts und Unsloth Q5_K_S) sowie MTP direkt in llama.cpp mit Unsloth Qwen3.6-27B in UD-Q4_K_XL und UD-Q8_K_XL. Beide Setups liefern ihm 40–50 t/s — kaum mehr als die ~40 t/s, die er mit einem einfachen Qwen3.5-27B ohne Speculative Decoding erreicht. Der Beitrag dokumentiert detailliert die verwendeten Startbefehle inklusive Flash-Attention, KV-Cache-Quantisierung (q8_0, turbo4/turbo3_tcq), Context-Größen bis 245.600 Token und MTP-Parameter (--spec-draft-n-max 6). Die Frage, ob P2P-Bandbreite zwischen den GPUs, Quantisierungswahl oder fehlendes Batch-Tuning der Engpass ist, bleibt offen und spiegelt eine breitere Community-Diskussion über realistische Speedups von Speculative Decoding auf Dual-GPU-Consumer-Setups wider.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.