APEX MoE Quants: 30+ Modelle quantisiert, neuer I-Nano-Tier unter 2 bpw
APEX ist eine differenzierte Quantisierungsstrategie speziell für Mixture-of-Experts-Modelle: Sie behält geteilte Experten (Shared Experts) und Edge-Layer in hoher Präzision (bis Q5_K), während routed Experten aggressiver komprimiert werden (bis IQ2_XXS im neuen I-Nano-Tier). Seitdem der ursprüngliche Post nur Qwen 3.5 35B-A3B abdeckte, wurden über 25 weitere Modelle hinzugefügt—darunter Qwen 3.5/3.6-Varianten, NVIDIA Nemotron-Serien (bis 120B multimodal), MiniMax-M2.5/M2.7 (228B/24B aktiv), Gemma 4, Step-3.5, GLM-4 Flash und Community-Merges wie Qwopus. Nutzerberichte zeigen, dass I-Balanced und I-Compact Long-Context-Kohärenz über 32K Tokens hinweg besser halten als uniform Q4_K (messbar via KL99%-Metrik), während Code-Performance auf realen Tasks überraschend nah an F16 bleibt—besonders bei Qwen3.6 35B-A3B. Der neue I-Nano-Tier (2,06 bpw) reduziert Qwen 3.5 35B von 13 GB auf 11 GB, bleibt aber auf Sparse-Expert-Aktivation von MoEs angewiesen und erfordert imatrix-Kalibrierung.
- Über 30 MoE-Modelle quantisiert, darunter Frontier-Größen bis 228B aktive Parameter (MiniMax-M2.5)
- I-Nano-Tier (2,06 bpw) reduziert Speicher um ~20%, Qwen 3.5 35B: 13 GB → 11 GB
- Long-Context bis 32K+ Tokens stabil, KL99%-Metrik führend im Vergleich zu anderen Komprimierungsverfahren
- Qwen3.6 35B-A3B und Nemotron-Multimodal-Varianten verfügbar, Community-Merges (Carnice, Qwopus) integriert
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
APEX MoE Quants: 30+ Modelle quantisiert, neuer I-Nano-Tier unter 2 bpw
APEX ist eine differenzierte Quantisierungsstrategie speziell für Mixture-of-Experts-Modelle: Sie behält geteilte Experten (Shared Experts) und Edge-Layer in hoher Präzision (bis Q5_K), während routed Experten aggressiver komprimiert werden (bis IQ2_XXS im neuen I-Nano-Tier). Seitdem der ursprüngliche Post nur Qwen 3.5 35B-A3B abdeckte, wurden über 25 weitere Modelle hinzugefügt—darunter Qwen 3.5/3.6-Varianten, NVIDIA Nemotron-Serien (bis 120B multimodal), MiniMax-M2.5/M2.7 (228B/24B aktiv), Gemma 4, Step-3.5, GLM-4 Flash und Community-Merges wie Qwopus. Nutzerberichte zeigen, dass I-Balanced und I-Compact Long-Context-Kohärenz über 32K Tokens hinweg besser halten als uniform Q4_K (messbar via KL99%-Metrik), während Code-Performance auf realen Tasks überraschend nah an F16 bleibt—besonders bei Qwen3.6 35B-A3B. Der neue I-Nano-Tier (2,06 bpw) reduziert Qwen 3.5 35B von 13 GB auf 11 GB, bleibt aber auf Sparse-Expert-Aktivation von MoEs angewiesen und erfordert imatrix-Kalibrierung.
- Über 30 MoE-Modelle quantisiert, darunter Frontier-Größen bis 228B aktive Parameter (MiniMax-M2.5)
- I-Nano-Tier (2,06 bpw) reduziert Speicher um ~20%, Qwen 3.5 35B: 13 GB → 11 GB
- Long-Context bis 32K+ Tokens stabil, KL99%-Metrik führend im Vergleich zu anderen Komprimierungsverfahren
- Qwen3.6 35B-A3B und Nemotron-Multimodal-Varianten verfügbar, Community-Merges (Carnice, Qwopus) integriert
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.