Qwen3.8-27B auf 4x RTX 3090: TP=2 schlägt TP=4 um bis zu 41%
Der Reddit-Nutzer Mr_Moonsilver hat das Modell cyankiwi/Qwen3.8-27B-AWQ-INT4 mit vLLM 0.20.1 auf einem Silverstone-RV-02-System mit vier RTX-3090-Karten (je 24 GB VRAM, 96 GB gesamt) systematisch vermessen. Die GPU-Topologie ist entscheidend: GPU0 und GPU2 sind per NVLink verbunden, ebenso GPU1 und GPU3 – zwischen den Paaren besteht jedoch nur PCIe-Konnektivität. Genau diese Asymmetrie erklärt den kontraintuitiven Befund: TP=2 auf einem NVLink-Paar übertrifft ab Konkurrenz 12 eine TP=4-Konfiguration über alle vier Karten, weil TP=4 bei jedem einzelnen Layer einen PCIe-All-Reduce über die Paargrenzen hinweg durchführen muss – ein Overhead, der mit steigender Batchgröße stark skaliert. Beim Prompt-Processing zeigt sich, dass Prefill-Throughput nicht mit der Anzahl gleichzeitiger Anfragen skaliert: Ob Konkurrenz 1 oder 32, der Durchsatz bleibt innerhalb von 2 % konstant, da eine einzelne 16k-Prompt-Welle die GPUs bereits vollständig auslastet. Ein 262k-Kontext-Prompt benötigt auf TP=4 rund vier Minuten Prefill. Der KV-Pool fällt je nach Konfiguration sehr unterschiedlich aus: 1,45 Millionen Token bei TP=4 gegenüber 503.000 Token bei TP=2 – letztere Variante scheidet für lange parallele Sessions daher aus. MTP-Speculative-Decoding startet auf TP=2 wegen OOM beim CUDA-Graph-Profiling auf 24-GB-Karten nicht einmal.
- Benchmark-Parameter: 1.000 Input-Token / 512 Output-Token pro Generation-Run, Random-Dataset, ignore-eos; PP-Runs mit 16 Output-Token, eine Wave pro Concurrency-Level.
- KV-Cache-Konfiguration: --kv-cache-dtype fp8, gpu-mem-util 0,90; hybride Attention (16 von 64 Full-Attention-Layer) lässt PP-Throughput von 4k bis 260k Kontext nur um ~35 % fallen.
- MTP-Step-Kosten auf Ampere: Baseline-Decode-Step 11,3 ms vs. Spec-Step 39 ms (3,5×); bei 2,7 akzeptierten Tokens pro Step ergibt sich ein effektiver Faktor von 0,77× — Nettoverlust bestätigt.
- TP=2 PP-Throughput bei 16k Prompts: 2.158 tok/s gegenüber 1.646 tok/s bei TP=4 — ein Vorsprung von ~31 % auch beim Prefill.
- Kontextkapazität TP=4: bis zu Konkurrenz 5 volle 262k Token pro Request, bei c12 noch 121k, bei c32 noch 45k — auf Consumer-GPUs von 2020 laut Autor bemerkenswert.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Qwen3.8-27B auf 4x RTX 3090: TP=2 schlägt TP=4 um bis zu 41%
Der Reddit-Nutzer Mr_Moonsilver hat das Modell cyankiwi/Qwen3.8-27B-AWQ-INT4 mit vLLM 0.20.1 auf einem Silverstone-RV-02-System mit vier RTX-3090-Karten (je 24 GB VRAM, 96 GB gesamt) systematisch vermessen. Die GPU-Topologie ist entscheidend: GPU0 und GPU2 sind per NVLink verbunden, ebenso GPU1 und GPU3 – zwischen den Paaren besteht jedoch nur PCIe-Konnektivität. Genau diese Asymmetrie erklärt den kontraintuitiven Befund: TP=2 auf einem NVLink-Paar übertrifft ab Konkurrenz 12 eine TP=4-Konfiguration über alle vier Karten, weil TP=4 bei jedem einzelnen Layer einen PCIe-All-Reduce über die Paargrenzen hinweg durchführen muss – ein Overhead, der mit steigender Batchgröße stark skaliert. Beim Prompt-Processing zeigt sich, dass Prefill-Throughput nicht mit der Anzahl gleichzeitiger Anfragen skaliert: Ob Konkurrenz 1 oder 32, der Durchsatz bleibt innerhalb von 2 % konstant, da eine einzelne 16k-Prompt-Welle die GPUs bereits vollständig auslastet. Ein 262k-Kontext-Prompt benötigt auf TP=4 rund vier Minuten Prefill. Der KV-Pool fällt je nach Konfiguration sehr unterschiedlich aus: 1,45 Millionen Token bei TP=4 gegenüber 503.000 Token bei TP=2 – letztere Variante scheidet für lange parallele Sessions daher aus. MTP-Speculative-Decoding startet auf TP=2 wegen OOM beim CUDA-Graph-Profiling auf 24-GB-Karten nicht einmal.
- Benchmark-Parameter: 1.000 Input-Token / 512 Output-Token pro Generation-Run, Random-Dataset, ignore-eos; PP-Runs mit 16 Output-Token, eine Wave pro Concurrency-Level.
- KV-Cache-Konfiguration: --kv-cache-dtype fp8, gpu-mem-util 0,90; hybride Attention (16 von 64 Full-Attention-Layer) lässt PP-Throughput von 4k bis 260k Kontext nur um ~35 % fallen.
- MTP-Step-Kosten auf Ampere: Baseline-Decode-Step 11,3 ms vs. Spec-Step 39 ms (3,5×); bei 2,7 akzeptierten Tokens pro Step ergibt sich ein effektiver Faktor von 0,77× — Nettoverlust bestätigt.
- TP=2 PP-Throughput bei 16k Prompts: 2.158 tok/s gegenüber 1.646 tok/s bei TP=4 — ein Vorsprung von ~31 % auch beim Prefill.
- Kontextkapazität TP=4: bis zu Konkurrenz 5 volle 262k Token pro Request, bei c12 noch 121k, bei c32 noch 45k — auf Consumer-GPUs von 2020 laut Autor bemerkenswert.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.