GLM-5.2 auf 8×B200: 2× TP=4 NVFP4-Replicas schlagen TP=8 um Faktor 2
CompaniesNVIDIA
Warum es zählt
Wer GLM-5.2 auf B200-Hardware betreibt, kann durch NVFP4 + Split-TP-Layout den Node-Durchsatz verdoppeln und die Inferenzkosten gegenüber H200 FP8 um ~3,5× senken. Kritisch: SGLang ≤v0.5.9 erzeugt auf B200 silent-wrong-outputs – Upgrade auf v0.5.13.post1+ ist Pflicht für NVFP4.
— Lumeric Redaktion
GLM-5 / GLM-5.2 Throughput auf B200 (SGLang v0.5.12 + EAGLE MTP, ISL 8192 / OSL 1024) · Spitzenwert
1947%
FP8 TP=8 @ conc 256
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
GLM-5.2 auf 8×B200: 2× TP=4 NVFP4-Replicas schlagen TP=8 um Faktor 2
CompaniesNVIDIA
Warum es zählt
Wer GLM-5.2 auf B200-Hardware betreibt, kann durch NVFP4 + Split-TP-Layout den Node-Durchsatz verdoppeln und die Inferenzkosten gegenüber H200 FP8 um ~3,5× senken. Kritisch: SGLang ≤v0.5.9 erzeugt auf B200 silent-wrong-outputs – Upgrade auf v0.5.13.post1+ ist Pflicht für NVFP4.
— Lumeric Redaktion
GLM-5 / GLM-5.2 Throughput auf B200 (SGLang v0.5.12 + EAGLE MTP, ISL 8192 / OSL 1024) · Spitzenwert
1947%
FP8 TP=8 @ conc 256
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.