GLM-5.3-Flash auf DGX Station GB300: 206 tok/s mit 1M-Kontext
Warum es zählt
206 tok/s Single-Stream bei 1M Kontext auf einer einzigen Blackwell-Station zeigt, dass NVFP4 auf HBM3e die Inferenz von Frontier-MoE-Modellen deutlich beschleunigt. Die vllm-Docker-Konfiguration ist direkt wiederverwendbar, hat aber einen bekannten Bug beim Auto-Download der Gewichte.
— Lumeric Redaktion
206 tok/s
Single-Stream, 1M Kontext, NVFP4
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- BENCHMARKreddit.com3w
Apple M5 Ultra 256 GB erreicht 68,8 tok/s mit GLM 5.3 Flash
- LAUNCHreddit.com1d
LlamAmpere v0.6: 112 TPS bei 100K Token-Kontext auf einer RTX 3090
- LAUNCHreddit.com2w
Project Maya ermöglicht GLM-5.3-Flash (321B) auf Consumer-Hardware
- BENCHMARKreddit.com3d
Community-Datapoint: 2× Apple M5U 256 GB Cluster mit Qwen Flash Next und GLM 5.3
GLM-5.3-Flash auf DGX Station GB300: 206 tok/s mit 1M-Kontext
Warum es zählt
206 tok/s Single-Stream bei 1M Kontext auf einer einzigen Blackwell-Station zeigt, dass NVFP4 auf HBM3e die Inferenz von Frontier-MoE-Modellen deutlich beschleunigt. Die vllm-Docker-Konfiguration ist direkt wiederverwendbar, hat aber einen bekannten Bug beim Auto-Download der Gewichte.
— Lumeric Redaktion
206 tok/s
Single-Stream, 1M Kontext, NVFP4
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- BENCHMARKreddit.com3w
Apple M5 Ultra 256 GB erreicht 68,8 tok/s mit GLM 5.3 Flash
- LAUNCHreddit.com1d
LlamAmpere v0.6: 112 TPS bei 100K Token-Kontext auf einer RTX 3090
- LAUNCHreddit.com2w
Project Maya ermöglicht GLM-5.3-Flash (321B) auf Consumer-Hardware
- BENCHMARKreddit.com3d
Community-Datapoint: 2× Apple M5U 256 GB Cluster mit Qwen Flash Next und GLM 5.3