Benchmark: Qwen3.6-27B NVFP4 auf RTX 5090 – MTP-Speculative Decoding unter Last
Der Test wurde mit Unsloth's Qwen3.6-27B-NVFP4 durchgeführt – einem Modell, das NVFP4-Quantisierung für die MLP-Schichten und FP8 für die Attention-Schichten kombiniert und explizit nicht mit NVIDIAs eigenem NVFP4-Release zu verwechseln ist. Als Inferenz-Framework kam vLLM 0.25.1 auf PyTorch 2.11.0 mit TRITON_ATTN-Backend und einem maximalen Kontextfenster von 65.536 Token zum Einsatz. Das überraschendste Ergebnis: Eine einzelne RTX 5090 mit nspec=3 erreichte 120 tok/s, während zwei RTX 5090 im Tensor-Parallel-Modus (TP=2) mit MTP nur auf 108 tok/s kamen – der Kommunikations-Overhead zwischen den GPUs frisst den MTP-Vorteil nahezu auf. Beim Concurrency-Test auf einer GPU zeigte sich ein klares Muster: Bei 1–4 parallelen Anfragen verdoppelt MTP den Server-Gesamtdurchsatz fast, bei 8 Requests ist der Vorteil marginiert (+5 %), und ab 12 parallelen Anfragen wird MTP zur aktiven Bremse (-22 % bzw. -37 % bei 16 Requests). Interessanterweise brach die MTP-Akzeptanzrate dabei kaum ein – sie lag bei Concurrency 1 bei 73 % und bei Concurrency 16 immer noch bei 71 %. Die Erklärung des Autors: Bei hohem Batch-Load ist die GPU bereits ausgelastet, die spekulative Verifikation wird zur Mehrarbeit ohne ausreichende Einsparung an Decode-Schritten. Der Kontext-Test (vier Prompts je Kontextgröße) lieferte wegen der kleinen Stichprobe nur Richtungswerte, nicht universell übertragbare Zahlen.
- Modell-Architektur: NVFP4-Quantisierung für MLP-Schichten, FP8 für Attention – explizit Unsloth-Release, nicht NVIDIAs eigenes NVFP4.
- MTP-Methode im vLLM-Aufruf: `qwen3_5_mtp`; Benchmark-Prompts stammen aus dem Spec-Bench-Datensatz, nicht aus synthetischen Sequenzen.
- Akzeptanzrate blieb unter Last stabil: ~73 % bei Concurrency 1, ~71 % bei Concurrency 16 – der Einbruch liegt also am GPU-Auslastungsmodell, nicht an schlechteren Draft-Token-Treffern.
- TP=2-Ergebnisse zeigten starke Run-to-Run-Varianz (108–118 tok/s), während TP=1-Ergebnisse deutlich stabiler ausfielen.
- Concurrency-4-Lauf wies erhebliche Ausreißer auf: 414 tok/s in einem Lauf vs. nur 250 tok/s mit schlechter Tail-Latenz in einem früheren Lauf – Repro-Instabilität bei mittlerer Last.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Benchmark: Qwen3.6-27B NVFP4 auf RTX 5090 – MTP-Speculative Decoding unter Last
Der Test wurde mit Unsloth's Qwen3.6-27B-NVFP4 durchgeführt – einem Modell, das NVFP4-Quantisierung für die MLP-Schichten und FP8 für die Attention-Schichten kombiniert und explizit nicht mit NVIDIAs eigenem NVFP4-Release zu verwechseln ist. Als Inferenz-Framework kam vLLM 0.25.1 auf PyTorch 2.11.0 mit TRITON_ATTN-Backend und einem maximalen Kontextfenster von 65.536 Token zum Einsatz. Das überraschendste Ergebnis: Eine einzelne RTX 5090 mit nspec=3 erreichte 120 tok/s, während zwei RTX 5090 im Tensor-Parallel-Modus (TP=2) mit MTP nur auf 108 tok/s kamen – der Kommunikations-Overhead zwischen den GPUs frisst den MTP-Vorteil nahezu auf. Beim Concurrency-Test auf einer GPU zeigte sich ein klares Muster: Bei 1–4 parallelen Anfragen verdoppelt MTP den Server-Gesamtdurchsatz fast, bei 8 Requests ist der Vorteil marginiert (+5 %), und ab 12 parallelen Anfragen wird MTP zur aktiven Bremse (-22 % bzw. -37 % bei 16 Requests). Interessanterweise brach die MTP-Akzeptanzrate dabei kaum ein – sie lag bei Concurrency 1 bei 73 % und bei Concurrency 16 immer noch bei 71 %. Die Erklärung des Autors: Bei hohem Batch-Load ist die GPU bereits ausgelastet, die spekulative Verifikation wird zur Mehrarbeit ohne ausreichende Einsparung an Decode-Schritten. Der Kontext-Test (vier Prompts je Kontextgröße) lieferte wegen der kleinen Stichprobe nur Richtungswerte, nicht universell übertragbare Zahlen.
- Modell-Architektur: NVFP4-Quantisierung für MLP-Schichten, FP8 für Attention – explizit Unsloth-Release, nicht NVIDIAs eigenes NVFP4.
- MTP-Methode im vLLM-Aufruf: `qwen3_5_mtp`; Benchmark-Prompts stammen aus dem Spec-Bench-Datensatz, nicht aus synthetischen Sequenzen.
- Akzeptanzrate blieb unter Last stabil: ~73 % bei Concurrency 1, ~71 % bei Concurrency 16 – der Einbruch liegt also am GPU-Auslastungsmodell, nicht an schlechteren Draft-Token-Treffern.
- TP=2-Ergebnisse zeigten starke Run-to-Run-Varianz (108–118 tok/s), während TP=1-Ergebnisse deutlich stabiler ausfielen.
- Concurrency-4-Lauf wies erhebliche Ausreißer auf: 414 tok/s in einem Lauf vs. nur 250 tok/s mit schlechter Tail-Latenz in einem früheren Lauf – Repro-Instabilität bei mittlerer Last.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.