NVIDIA steigert MoE-Inferenz-Durchsatz auf DGX Spark um 42,5 %
ToolsNVIDIA Hardware
CompaniesNVIDIA
Warum es zählt
Drei kombinierte Inferenz-Optimierungen liefern auf einem einzigen DGX Spark einen Durchsatzgewinn von 42,5 % bei einem 124B-MoE-Modell – ohne Genauigkeitsverlust. Für AI-Builder bedeutet das: Bestehende Hardware kann deutlich effizienter genutzt werden, bevor teurere Skalierungsschritte nötig werden.
— Lumeric Redaktion
+42,5% Durchsatz
GSM8K-Decode auf DGX Spark, Ling-3.0-flash
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
NVIDIA steigert MoE-Inferenz-Durchsatz auf DGX Spark um 42,5 %
ToolsNVIDIA Hardware
CompaniesNVIDIA
Warum es zählt
Drei kombinierte Inferenz-Optimierungen liefern auf einem einzigen DGX Spark einen Durchsatzgewinn von 42,5 % bei einem 124B-MoE-Modell – ohne Genauigkeitsverlust. Für AI-Builder bedeutet das: Bestehende Hardware kann deutlich effizienter genutzt werden, bevor teurere Skalierungsschritte nötig werden.
— Lumeric Redaktion
+42,5% Durchsatz
GSM8K-Decode auf DGX Spark, Ling-3.0-flash
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.