Qwen 3.8 Flash Next NVFP4 auf 5090: 200 t/s Decode und 9k t/s Prefill unter CachyOS
ToolsQwen
Warum es zählt
Windows 11 frisst laut Bericht 1,5 GB VRAM und 6 GB RAM, was bei MoE-Modellen Experten in den RAM verdrängt und Decode/Prefill um bis zu 70 % einbricht. Der Wechsel auf CachyOS + Basalt-Runtime beseitigt diesen Engpass und macht das Modell trotz 3,8B-Flash-Architektur qualitativ konkurrenzfähig zu dichten 27B-Modellen.
— Lumeric Redaktion
9.000 t/s Prefill
Qwen 3.8 FN NVFP4 auf RTX 5090 / CachyOS
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com3w
Community-Diskussion: Qwen 3.8 Flash-Next vs. 35B-A3B auf Consumer-Hardware
- MEINUNGreddit.com0mo
Nutzer wechselt von 27B Dense auf Qwen Flash via Strata – 60 Token/s bei 250k Kontext
- LAUNCHreddit.com2w
Basalt: NVFP4-Support und schnelleres Prefill für Qwen3.8 Flash-Next auf Single 5090
Qwen 3.8 Flash Next NVFP4 auf 5090: 200 t/s Decode und 9k t/s Prefill unter CachyOS
ToolsQwen
Warum es zählt
Windows 11 frisst laut Bericht 1,5 GB VRAM und 6 GB RAM, was bei MoE-Modellen Experten in den RAM verdrängt und Decode/Prefill um bis zu 70 % einbricht. Der Wechsel auf CachyOS + Basalt-Runtime beseitigt diesen Engpass und macht das Modell trotz 3,8B-Flash-Architektur qualitativ konkurrenzfähig zu dichten 27B-Modellen.
— Lumeric Redaktion
9.000 t/s Prefill
Qwen 3.8 FN NVFP4 auf RTX 5090 / CachyOS
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com3w
Community-Diskussion: Qwen 3.8 Flash-Next vs. 35B-A3B auf Consumer-Hardware
- MEINUNGreddit.com0mo
Nutzer wechselt von 27B Dense auf Qwen Flash via Strata – 60 Token/s bei 250k Kontext
- LAUNCHreddit.com2w
Basalt: NVFP4-Support und schnelleres Prefill für Qwen3.8 Flash-Next auf Single 5090