Qwen3.8-Flash-Next Quantisierungsvergleich auf 128GB Strix Halo
Der Reddit-Nutzer /u/MarkoMarjamaa dokumentiert einen praxisnahen Speicher-Optimierungsversuch mit Qwen3.8-Flash-Next auf einem 128-GB-Strix-Halo-System – angelehnt an das „Mark Watney"-Prinzip aus „The Martian": alles Entbehrliche abwerfen, um das Modell gerade noch zum Laufen zu bringen. Neben dem Basismodell laufen auf seiner Maschine gleichzeitig STT, ein Assistenz-Prozess und TTS, die zusätzlichen RAM beanspruchen. Die genaue Speicherbilanz zeigt, dass MTP (Multi-Token Prediction) trotz einer Datei von nur 2,8 GB satte 5,5 GB RAM belegt, während mmproj 1 GB kostet. Der KV-Cache skaliert linear: Bei F16-Quantisierung entsprechen 10.000 Tokens 1 GB, bei Q8 sind es 20.000 Tokens pro GB. Für die Qualitätsmessung nutzt der Autor Perplexity-KLD-Werte relativ zu Q8_0 als Basisreferenz (F16 war wegen Speichermangels nicht möglich). Der Test zeigt, dass der Austausch des Q4-N-Gram-Shards durch das Q8-N-Gram von Q5 (25 GB bzw. 50 GB) die Qualität messbar, aber nicht dramatisch verbessert – die mittlere KLD sinkt von 0,033 auf 0,028. Als nächsten Schritt erwägt der Autor eine intermediate Quantisierungsstufe (Q5_M oder Q5_XS), die 10–15 GB mehr als Q4 benötigte und Perplexitätswerte zwischen Q4 und Q5 liefern könnte.
- N-Gram-Shard wird ausschließlich von Disk gelesen — ein größerer Q8-N-Gram erhöht den RAM-Bedarf daher nicht.
- Seltsamer Nebeneffekt: Das bloße Verschieben des 25-GB-N-Gram-Shards an die letzte Position ließ das Q4-Modell bereits 5,5 GB mehr RAM verbrauchen — Ursache noch ungeklärt.
- Bei Q5_K_XL mit mmproj, MTP und 64.000-Token-Q8-KV-Cache blieben auf dem 128-GB-System nur noch 1–2 GB RAM frei.
- Perplexity-Vergleich (Top-1% Mean KLD): Q5_K_XL 0,0182 / Q4+50GB-Q8-NGram 0,0279 / Q4+25GB-Q8-NGram 0,0334 — jeweils gemessen gegen Q8_0-Baseline.
- Der Autor plant, den Vergleich mit F16 als KLD-Basis zu wiederholen, sobald genügend Speicher freigeschaufelt werden kann.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Qwen3.8-Flash-Next Quantisierungsvergleich auf 128GB Strix Halo
Der Reddit-Nutzer /u/MarkoMarjamaa dokumentiert einen praxisnahen Speicher-Optimierungsversuch mit Qwen3.8-Flash-Next auf einem 128-GB-Strix-Halo-System – angelehnt an das „Mark Watney"-Prinzip aus „The Martian": alles Entbehrliche abwerfen, um das Modell gerade noch zum Laufen zu bringen. Neben dem Basismodell laufen auf seiner Maschine gleichzeitig STT, ein Assistenz-Prozess und TTS, die zusätzlichen RAM beanspruchen. Die genaue Speicherbilanz zeigt, dass MTP (Multi-Token Prediction) trotz einer Datei von nur 2,8 GB satte 5,5 GB RAM belegt, während mmproj 1 GB kostet. Der KV-Cache skaliert linear: Bei F16-Quantisierung entsprechen 10.000 Tokens 1 GB, bei Q8 sind es 20.000 Tokens pro GB. Für die Qualitätsmessung nutzt der Autor Perplexity-KLD-Werte relativ zu Q8_0 als Basisreferenz (F16 war wegen Speichermangels nicht möglich). Der Test zeigt, dass der Austausch des Q4-N-Gram-Shards durch das Q8-N-Gram von Q5 (25 GB bzw. 50 GB) die Qualität messbar, aber nicht dramatisch verbessert – die mittlere KLD sinkt von 0,033 auf 0,028. Als nächsten Schritt erwägt der Autor eine intermediate Quantisierungsstufe (Q5_M oder Q5_XS), die 10–15 GB mehr als Q4 benötigte und Perplexitätswerte zwischen Q4 und Q5 liefern könnte.
- N-Gram-Shard wird ausschließlich von Disk gelesen — ein größerer Q8-N-Gram erhöht den RAM-Bedarf daher nicht.
- Seltsamer Nebeneffekt: Das bloße Verschieben des 25-GB-N-Gram-Shards an die letzte Position ließ das Q4-Modell bereits 5,5 GB mehr RAM verbrauchen — Ursache noch ungeklärt.
- Bei Q5_K_XL mit mmproj, MTP und 64.000-Token-Q8-KV-Cache blieben auf dem 128-GB-System nur noch 1–2 GB RAM frei.
- Perplexity-Vergleich (Top-1% Mean KLD): Q5_K_XL 0,0182 / Q4+50GB-Q8-NGram 0,0279 / Q4+25GB-Q8-NGram 0,0334 — jeweils gemessen gegen Q8_0-Baseline.
- Der Autor plant, den Vergleich mit F16 als KLD-Basis zu wiederholen, sobald genügend Speicher freigeschaufelt werden kann.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.