capy-flash: Qwen3.8-Flash-Next 125B MoE in NVFP4 auf zwei Consumer-GPUs
Warum es zählt
Ein 125B-MoE-Modell lässt sich damit auf Consumer-Hardware mit 2× 16 GB VRAM produktiv betreiben. Der FP16-Partial-Sum-Fix für TP=2 reduziert numerische Fehler kostenlos und stabilisiert Agentic-Loops.
— Lumeric Redaktion
Throughput (tok/s Generation, NVFP4, 2× RTX 5070 Ti) · Spitzenwert
100%
capy-flash (NVFP4)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
capy-flash: Qwen3.8-Flash-Next 125B MoE in NVFP4 auf zwei Consumer-GPUs
Warum es zählt
Ein 125B-MoE-Modell lässt sich damit auf Consumer-Hardware mit 2× 16 GB VRAM produktiv betreiben. Der FP16-Partial-Sum-Fix für TP=2 reduziert numerische Fehler kostenlos und stabilisiert Agentic-Loops.
— Lumeric Redaktion
Throughput (tok/s Generation, NVFP4, 2× RTX 5070 Ti) · Spitzenwert
100%
capy-flash (NVFP4)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.