DeepSeek-V4-Flash-0731: 10 → 15 tok/s auf einer RTX 3090 bei 128K Kontext
Warum es zählt
Konkrete Parameter-Kombinationen (--n-cpu-moe, KV-Cache q8_0, 44 GPU-Layer) zeigen, wie MoE-Modelle dieser Größe auf Consumer-Hardware mit 128K Kontext nutzbar werden. Die Ergebnisse sind direkt übertragbar für Setups mit RTX 3090 + 128 GB RAM.
— Lumeric Redaktion
Inferenzgeschwindigkeit (tok/s) bei 128K Kontext – RTX 3090 · Spitzenwert
9.9%
UD-IQ4_XS
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
DeepSeek-V4-Flash-0731: 10 → 15 tok/s auf einer RTX 3090 bei 128K Kontext
Warum es zählt
Konkrete Parameter-Kombinationen (--n-cpu-moe, KV-Cache q8_0, 44 GPU-Layer) zeigen, wie MoE-Modelle dieser Größe auf Consumer-Hardware mit 128K Kontext nutzbar werden. Die Ergebnisse sind direkt übertragbar für Setups mit RTX 3090 + 128 GB RAM.
— Lumeric Redaktion
Inferenzgeschwindigkeit (tok/s) bei 128K Kontext – RTX 3090 · Spitzenwert
9.9%
UD-IQ4_XS
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.