GLM-5.2 auf 8×B200: 2× TP=4 NVFP4-Replicas schlagen TP=8 um Faktor 2
GLM-5.2 ist ein Mixture-of-Experts-Modell mit rund 750 Milliarden Gesamtparametern und etwa 40 Milliarden aktiven Parametern pro Forward-Pass (256 Experten, Top-8-Routing). Das Modell nutzt DSA- und MLA-Attention, unterstützt bis zu 1 Million Token Kontext und steht unter MIT-Lizenz. Der Reddit-Post analysiert, warum die intuitive Konfiguration – ein TP=8-Engine über den ganzen Node – nicht optimal ist: MoE-Decode ist bei moderater Concurrency bandbreitengebunden, nicht rechengebunden, weshalb der B200 gegenüber dem H200 auf FP8-Basis nur rund 1,2× Perf/$ liefert statt der theoretischen 2,3× aus dem FLOPs-Verhältnis. Der entscheidende Hebel ist NVFP4: Die Gewichte schrumpfen von 744 GB (FP8) auf 459 GB, sodass auf einem 8×B200-Node mit 1.440 GB HBM zwei unabhängige TP=4-Replicas nebeneinander laufen – mit zusammen rund 33.000 tok/s gegenüber 15.600 tok/s bei TP=8 FP8. Die zugrundeliegenden Benchmarkzahlen stammen von InferenceX/SemiAnalysis mit SGLang v0.5.12 und EAGLE-MTP bei ISL 8192/OSL 1024 und beziehen sich auf GLM-5, dessen Architektur mit GLM-5.2 baugleich ist. Eine kritische Betriebswarnung betrifft SGLang ≤v0.5.9, das auf B200-Hardware durch den veralteten flashmla_kv-Pfad falsche Ausgaben produziert, ohne abzustürzen – betroffen ist der GitHub-Issue #21291. Für die NVFP4-Checkpoints von GLM-5.2 ist mindestens SGLang v0.5.13.post1 oder vLLM v0.23.0 erforderlich.
- NVFP4 TP=4: Bei Concurrency 128 erreicht ein einzelnes Replica 4.116 tok/s/GPU (TPOT 56,7 ms); FP8 TP=8 kommt bei Conc 256 auf nur 1.947 tok/s/GPU (TPOT 84,2 ms).
- TP=8 NVFP4 ist laut Analyse nur bei harten TPOT-SLAs sinnvoll: 140 tok/s/user bei Conc 4 vs. 121 auf TP=4 – erkauft durch halbierte GPU-Effizienz.
- Kostenrechnung: Bei SemiAnalysis-TCO von 1,95 $/GPU/h landet NVFP4 bei ~0,13 $/M Tokens; H200 FP8 kostet ~1,06 $/M Tokens bei 80 tok/s/user – Faktor ~3,5× schlechter.
- 1-Million-Token-Kontext passt rechnerisch in 1.440 GB HBM (FP8 KV), ein einzelner 1M-Prefill würde aber den gesamten aggregierten Engine blockieren – disaggregiertes Prefill-Setup wird empfohlen.
- EAGLE-MTP-Flags für die Benchmarks: --speculative-algorithm EAGLE --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4; GLM-5-Daten implizieren ~40–55 % Decode-Uplift.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
GLM-5.2 auf 8×B200: 2× TP=4 NVFP4-Replicas schlagen TP=8 um Faktor 2
GLM-5.2 ist ein Mixture-of-Experts-Modell mit rund 750 Milliarden Gesamtparametern und etwa 40 Milliarden aktiven Parametern pro Forward-Pass (256 Experten, Top-8-Routing). Das Modell nutzt DSA- und MLA-Attention, unterstützt bis zu 1 Million Token Kontext und steht unter MIT-Lizenz. Der Reddit-Post analysiert, warum die intuitive Konfiguration – ein TP=8-Engine über den ganzen Node – nicht optimal ist: MoE-Decode ist bei moderater Concurrency bandbreitengebunden, nicht rechengebunden, weshalb der B200 gegenüber dem H200 auf FP8-Basis nur rund 1,2× Perf/$ liefert statt der theoretischen 2,3× aus dem FLOPs-Verhältnis. Der entscheidende Hebel ist NVFP4: Die Gewichte schrumpfen von 744 GB (FP8) auf 459 GB, sodass auf einem 8×B200-Node mit 1.440 GB HBM zwei unabhängige TP=4-Replicas nebeneinander laufen – mit zusammen rund 33.000 tok/s gegenüber 15.600 tok/s bei TP=8 FP8. Die zugrundeliegenden Benchmarkzahlen stammen von InferenceX/SemiAnalysis mit SGLang v0.5.12 und EAGLE-MTP bei ISL 8192/OSL 1024 und beziehen sich auf GLM-5, dessen Architektur mit GLM-5.2 baugleich ist. Eine kritische Betriebswarnung betrifft SGLang ≤v0.5.9, das auf B200-Hardware durch den veralteten flashmla_kv-Pfad falsche Ausgaben produziert, ohne abzustürzen – betroffen ist der GitHub-Issue #21291. Für die NVFP4-Checkpoints von GLM-5.2 ist mindestens SGLang v0.5.13.post1 oder vLLM v0.23.0 erforderlich.
- NVFP4 TP=4: Bei Concurrency 128 erreicht ein einzelnes Replica 4.116 tok/s/GPU (TPOT 56,7 ms); FP8 TP=8 kommt bei Conc 256 auf nur 1.947 tok/s/GPU (TPOT 84,2 ms).
- TP=8 NVFP4 ist laut Analyse nur bei harten TPOT-SLAs sinnvoll: 140 tok/s/user bei Conc 4 vs. 121 auf TP=4 – erkauft durch halbierte GPU-Effizienz.
- Kostenrechnung: Bei SemiAnalysis-TCO von 1,95 $/GPU/h landet NVFP4 bei ~0,13 $/M Tokens; H200 FP8 kostet ~1,06 $/M Tokens bei 80 tok/s/user – Faktor ~3,5× schlechter.
- 1-Million-Token-Kontext passt rechnerisch in 1.440 GB HBM (FP8 KV), ein einzelner 1M-Prefill würde aber den gesamten aggregierten Engine blockieren – disaggregiertes Prefill-Setup wird empfohlen.
- EAGLE-MTP-Flags für die Benchmarks: --speculative-algorithm EAGLE --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4; GLM-5-Daten implizieren ~40–55 % Decode-Uplift.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.