WinterMix: Native-MLX-Quants von Qwen3.5-122B-A10B schlagen größere 6-bit-Builds
WinterMix ist eine von einem Einzelentwickler über neun Tage erarbeitete Quantisierungsmethode für das Mixture-of-Experts-Modell Qwen3.5-122B-A10B im nativen MLX-Format. Der Entwickler testete 18 Varianten auf einem M5 Max MacBook Pro mit 128 GB RAM und veröffentlicht zwei Builds: WinterMix58 (~82 GiB, ~6,0 bpw) und WinterMix48 (~68 GiB, ~5,0 bpw). Der Kern des Ansatzes ist, vollständig formatnativ zu bleiben – keine Custom-Kernels, kein geforkter Runtime –, sodass die Modelle als Drop-in-Ersatz in LM Studio, mlx-vlm und anderen MLX-kompatiblen Tools laufen. Die Perplexitätsmessungen zeigen, dass WinterMix58 bei 2K- und 16K-Kontext die rund 12–13 GiB größeren 6-Bit-MLX-Quants (oQ6, 94 GiB) unterboten hat; WinterMix48 schlägt seinen direkten Größenpeer oQ4 (67 GiB) um ~1,4–1,5 % auf beiden Kontextlängen. Das imatrix-gerundete Referenz-GGUF von Unsloth (UD-Q5_K_XL, 85,6 GiB) liegt noch 0,3–0,7 % vorn, da imatrix-Weighted-Rounding in MLX Custom-Kernels erfordern würde. Ein unerwarteter Befund während der Entwicklung: Perplexität allein erkennt keine Verhaltensunterschiede – zwei Builds mit nahezu identischem NLL unterschieden sich 2,5-fach in der Rate von Selbstunterbrechungen bei 50K-Token-Reasoning-Traces. Deshalb wurden die Release-Modelle nach drei Kriterien ausgewählt: gepaartem NLL, blind bewerteten Zustandsverfolgungsbenchmarks und direktem Lesen der Reasoning-Traces. Beide Builds sind unter Apache 2.0 lizenziert und auf HuggingFace verfügbar.
- WinterMix48 (68 GiB) lässt auf einem 128-GB-Mac ~35–40 GB frei — genug für 5–8 parallele Agent-Sessions à 100K Token gleichzeitig im Speicher.
- Die GDN-Architektur von Qwen3.5-122B-A10B hält den KV-Cache einer 100K-Token-Session bei nur ~5–10 GB.
- Das bisherige Standard-MLX-Quant oQ4 (67 GiB) verliert gegenüber dem Referenz-GGUF ~3,8 % Perplexität bei 2K-Kontext und ~4,2 % bei 16K-Kontext — laut Autor sichtbar als inkohärente Reasoning-Traces und kumulative Rechenfehler.
- Das Scoring-Protokoll verwendet NLL über die zweite Hälfte jedes Kontextfensters, token-aligned über Engines — dieselbe Methode wie Unsloth — und erlaubt damit direkte Vergleiche mit publizierten Werten.
- Ein Best-NLL-Kandidat wurde trotz niedrigster Perplexität verworfen, weil er eine erhöhte Selbstunterbrechungsrate zeigte; beim genauen Lesen der Traces stellten sich diese aber als nützliche Audit-Passes heraus, die zweimal echte Basismodell-Fehler fanden.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
WinterMix: Native-MLX-Quants von Qwen3.5-122B-A10B schlagen größere 6-bit-Builds
WinterMix ist eine von einem Einzelentwickler über neun Tage erarbeitete Quantisierungsmethode für das Mixture-of-Experts-Modell Qwen3.5-122B-A10B im nativen MLX-Format. Der Entwickler testete 18 Varianten auf einem M5 Max MacBook Pro mit 128 GB RAM und veröffentlicht zwei Builds: WinterMix58 (~82 GiB, ~6,0 bpw) und WinterMix48 (~68 GiB, ~5,0 bpw). Der Kern des Ansatzes ist, vollständig formatnativ zu bleiben – keine Custom-Kernels, kein geforkter Runtime –, sodass die Modelle als Drop-in-Ersatz in LM Studio, mlx-vlm und anderen MLX-kompatiblen Tools laufen. Die Perplexitätsmessungen zeigen, dass WinterMix58 bei 2K- und 16K-Kontext die rund 12–13 GiB größeren 6-Bit-MLX-Quants (oQ6, 94 GiB) unterboten hat; WinterMix48 schlägt seinen direkten Größenpeer oQ4 (67 GiB) um ~1,4–1,5 % auf beiden Kontextlängen. Das imatrix-gerundete Referenz-GGUF von Unsloth (UD-Q5_K_XL, 85,6 GiB) liegt noch 0,3–0,7 % vorn, da imatrix-Weighted-Rounding in MLX Custom-Kernels erfordern würde. Ein unerwarteter Befund während der Entwicklung: Perplexität allein erkennt keine Verhaltensunterschiede – zwei Builds mit nahezu identischem NLL unterschieden sich 2,5-fach in der Rate von Selbstunterbrechungen bei 50K-Token-Reasoning-Traces. Deshalb wurden die Release-Modelle nach drei Kriterien ausgewählt: gepaartem NLL, blind bewerteten Zustandsverfolgungsbenchmarks und direktem Lesen der Reasoning-Traces. Beide Builds sind unter Apache 2.0 lizenziert und auf HuggingFace verfügbar.
- WinterMix48 (68 GiB) lässt auf einem 128-GB-Mac ~35–40 GB frei — genug für 5–8 parallele Agent-Sessions à 100K Token gleichzeitig im Speicher.
- Die GDN-Architektur von Qwen3.5-122B-A10B hält den KV-Cache einer 100K-Token-Session bei nur ~5–10 GB.
- Das bisherige Standard-MLX-Quant oQ4 (67 GiB) verliert gegenüber dem Referenz-GGUF ~3,8 % Perplexität bei 2K-Kontext und ~4,2 % bei 16K-Kontext — laut Autor sichtbar als inkohärente Reasoning-Traces und kumulative Rechenfehler.
- Das Scoring-Protokoll verwendet NLL über die zweite Hälfte jedes Kontextfensters, token-aligned über Engines — dieselbe Methode wie Unsloth — und erlaubt damit direkte Vergleiche mit publizierten Werten.
- Ein Best-NLL-Kandidat wurde trotz niedrigster Perplexität verworfen, weil er eine erhöhte Selbstunterbrechungsrate zeigte; beim genauen Lesen der Traces stellten sich diese aber als nützliche Audit-Passes heraus, die zweimal echte Basismodell-Fehler fanden.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.