Qwen 3.8 Flash Next auf RAM-reicher, GPU-armer Heimserver-Hardware
Der Autor betreibt einen Heimserver auf Basis einer Lenovo Thinkstation P520 (Baujahr 2018, gekauft 2023 für rund 600 Euro), nachgerüstet mit einem Xeon W-2145, einer RTX 3060 mit 12 GB VRAM, 256 GB ECC DDR4 mit 2666 MHz im Quad-Channel (ca. 80 GB/s Bandbreite) sowie einer 2-TB-Samsung-980-Pro-NVMe — Gesamtkosten rund 1.000 Euro. Als bisheriges Alltagsmodell lief Qwen 3.6 35B A3B in Q4_K_M, kompiliert mit Intel-MKL-Erweiterungen für llama.cpp, und erreichte 30–50 tps bei nur ~20 GB RAM-Bedarf und vollem 128k-Kontext. Qwen 3.8 Flash Next im UD-Q4_K_XL-Quant belegt dagegen rund 110 GB RAM und reduziert den nutzbaren Kontext auf 65k Tokens — liefert dafür laut Autor qualitativ deutlich bessere Ausgaben. Kritisch ist die extreme Empfindlichkeit gegenüber RAM-Contention: Selbst das lokale Starten von OpenCode auf derselben Maschine drückt den Durchsatz von 12–15 tps auf 3–5 tps, während das kleinere 35B-Modell kaum Einbußen zeigt, weil mehr Schichten im VRAM verbleiben. Ein weiterer wichtiger Befund: Synthetische Benchmarks mit zufälligen Inhalten lieferten beim MoE-Modell irreführende Performancewerte — erst realistische Kontexte (z. B. echter Code-Assistenz-Betrieb über OpenCode) zeigten das tatsächliche Verhalten. Der Autor setzt Flash Next daher nur noch dann ein, wenn keinerlei Parallellast auf dem Server läuft, und startet OpenCode von einem separaten Rechner.
- Qwen 3.8 Flash Next wird mit --n-cpu-moe 48 betrieben, d. h. 48 MoE-Expert-Schichten landen auf der CPU statt auf der GPU.
- Für das 35B-Modell nutzt der Autor MTP-Spekulatives Decoding (--spec-type draft-mtp, --spec-draft-n-max 1) und begrenzt das Reasoning-Budget auf 1.200 Token.
- Flash Next läuft mit unbounded Thinking (kein --reasoning-budget), um maximale Ausgabequalität zu erhalten; das 35B-Modell wird zur Geschwindigkeitssteigerung auf 1.200 Token Denkbudget gedeckelt.
- Das 35B-Modell wird als uncensored/abliterated Heretic-Variante betrieben, explizit um Permissions-Overhead zu reduzieren.
- KV-Cache für Flash Next wird als f16 gespeichert (volle Präzision), beim 35B dagegen auf q4_0 quantisiert, um den 128k-Kontext im VRAM unterzubringen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Qwen 3.8 Flash Next auf RAM-reicher, GPU-armer Heimserver-Hardware
Der Autor betreibt einen Heimserver auf Basis einer Lenovo Thinkstation P520 (Baujahr 2018, gekauft 2023 für rund 600 Euro), nachgerüstet mit einem Xeon W-2145, einer RTX 3060 mit 12 GB VRAM, 256 GB ECC DDR4 mit 2666 MHz im Quad-Channel (ca. 80 GB/s Bandbreite) sowie einer 2-TB-Samsung-980-Pro-NVMe — Gesamtkosten rund 1.000 Euro. Als bisheriges Alltagsmodell lief Qwen 3.6 35B A3B in Q4_K_M, kompiliert mit Intel-MKL-Erweiterungen für llama.cpp, und erreichte 30–50 tps bei nur ~20 GB RAM-Bedarf und vollem 128k-Kontext. Qwen 3.8 Flash Next im UD-Q4_K_XL-Quant belegt dagegen rund 110 GB RAM und reduziert den nutzbaren Kontext auf 65k Tokens — liefert dafür laut Autor qualitativ deutlich bessere Ausgaben. Kritisch ist die extreme Empfindlichkeit gegenüber RAM-Contention: Selbst das lokale Starten von OpenCode auf derselben Maschine drückt den Durchsatz von 12–15 tps auf 3–5 tps, während das kleinere 35B-Modell kaum Einbußen zeigt, weil mehr Schichten im VRAM verbleiben. Ein weiterer wichtiger Befund: Synthetische Benchmarks mit zufälligen Inhalten lieferten beim MoE-Modell irreführende Performancewerte — erst realistische Kontexte (z. B. echter Code-Assistenz-Betrieb über OpenCode) zeigten das tatsächliche Verhalten. Der Autor setzt Flash Next daher nur noch dann ein, wenn keinerlei Parallellast auf dem Server läuft, und startet OpenCode von einem separaten Rechner.
- Qwen 3.8 Flash Next wird mit --n-cpu-moe 48 betrieben, d. h. 48 MoE-Expert-Schichten landen auf der CPU statt auf der GPU.
- Für das 35B-Modell nutzt der Autor MTP-Spekulatives Decoding (--spec-type draft-mtp, --spec-draft-n-max 1) und begrenzt das Reasoning-Budget auf 1.200 Token.
- Flash Next läuft mit unbounded Thinking (kein --reasoning-budget), um maximale Ausgabequalität zu erhalten; das 35B-Modell wird zur Geschwindigkeitssteigerung auf 1.200 Token Denkbudget gedeckelt.
- Das 35B-Modell wird als uncensored/abliterated Heretic-Variante betrieben, explizit um Permissions-Overhead zu reduzieren.
- KV-Cache für Flash Next wird als f16 gespeichert (volle Präzision), beim 35B dagegen auf q4_0 quantisiert, um den 128k-Kontext im VRAM unterzubringen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.