GLM-5.2-Int4-Int8 auf 8× GB10: 1.200 t/s Prefill, 33–54 t/s Decode
Warum es zählt
Das Setup zeigt, dass auf 8× GB10 auch nach dem Betrieb von GLM-5.2 genug VRAM verbleibt, um ein multimodales Modell (Mimo 2.5) parallel zu betreiben – relevant für lokale Multi-Modell-Deployments mit hohem Durchsatz.
— Lumeric Redaktion
~1.200 t/s
Prefill-Durchsatz auf 8× GB10
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
GLM-5.2-Int4-Int8 auf 8× GB10: 1.200 t/s Prefill, 33–54 t/s Decode
Warum es zählt
Das Setup zeigt, dass auf 8× GB10 auch nach dem Betrieb von GLM-5.2 genug VRAM verbleibt, um ein multimodales Modell (Mimo 2.5) parallel zu betreiben – relevant für lokale Multi-Modell-Deployments mit hohem Durchsatz.
— Lumeric Redaktion
~1.200 t/s
Prefill-Durchsatz auf 8× GB10
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.