Praxistest: 4× CMP170HX (GA100) mit je 64 GB VRAM für lokale LLMs
Warum es zählt
256 GB VRAM für potenziell ~800 USD (4× ~200 USD) ermöglicht große MoE-Modelle mit 1M-Kontext auf Consumer-Hardware — allerdings nur Ampere-Klasse (PCIe Gen2 ×4, kein NVLink), was Prefill und Multi-GPU-Skalierung begrenzt.
— Lumeric Redaktion
llama.cpp Token Generation (tg, t/s) – 4× CMP170HX · Spitzenwert
120%
gpt-oss-20B (1 card, MXFP4)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Praxistest: 4× CMP170HX (GA100) mit je 64 GB VRAM für lokale LLMs
Warum es zählt
256 GB VRAM für potenziell ~800 USD (4× ~200 USD) ermöglicht große MoE-Modelle mit 1M-Kontext auf Consumer-Hardware — allerdings nur Ampere-Klasse (PCIe Gen2 ×4, kein NVLink), was Prefill und Multi-GPU-Skalierung begrenzt.
— Lumeric Redaktion
llama.cpp Token Generation (tg, t/s) – 4× CMP170HX · Spitzenwert
120%
gpt-oss-20B (1 card, MXFP4)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.