Expert-only IQ3-Requant von DeepSeek-V4-Flash-0731 mit 1,4× Decode-Speed auf CPU-Spill-Rig
Der Reddit-Nutzer /u/HockeyDadNinja veröffentlichte auf Hugging Face unter TacoTakumi/DeepSeek-V4-Flash-0731-GGUF eine Requantisierung, die gezielt nur die 129 Routed-Expert-Tensoren von DeepSeek-V4-Flash-0731 auf IQ3_XXS bzw. IQ3_S (Down-Projektionen) herabsetzt – alle anderen Tensoren (Attention, Shared Experts, Router, Indexer) verbleiben auf Q8_0/BF16/F32 aus Bartowskis MXFP4-Konvertierung. Das Ergebnis sind vier Shards mit insgesamt 111,37 GiB, aufgebaut mit einer Imatrix aus calibration_datav3. Die Qualitätsmessung erfolgte per llama-perplexity KLD gegen Referenz-Logits des MXFP4-Quellmodells auf den ersten 150 Chunks von Wikitext-2 bei einem Kontext von 512 Tokens. Dabei schnitt das neue Quant mit einem mittleren KLD von 0,2386 und einer Top-1-Übereinstimmung von 84,65 % besser ab als Unsloths UD-IQ3_S (KLD 0,2936, Top-1 82,78 %) – allerdings mit dem Nachteil eines 2,12 GiB größeren Files und eines schlechteren maximalen KLD-Werts (12,53 vs. 11,13). Das Test-Rig besteht aus fünf gemischten GPUs (2× RTX 3090, 1× RTX 5060 Ti, 2× RTX 4060 Ti, insgesamt 96 GiB VRAM), wobei die Experts in den System-RAM spillen. Wer reine Token-Geschwindigkeit sucht, ist mit antirez' flachem Q2-Quant des gleichen Modells besser bedient, das bei 80,76 GiB nahezu vollständig im VRAM residiert und 30,27 t/s erreicht.
- Dateiformat: 4 Shards, gesamt 111,37 GiB; Imatrix-Kalibrierung mit calibration_datav3.
- Max-KLD-Nachteil gegenüber UD-IQ3_S: 12,53 (eigenes Quant) vs. 11,13 (Unsloth) – kein vollständiger Sweep-Sieg.
- antirez' Q2-Flat-Quant desselben Modells: 80,76 GiB, ~98 % VRAM-resident, 30,27 t/s – 2,18× schneller als dieses Quant.
- Der Autor nutzt einen gepatchten llama.cpp-Build mit DSV4-Stall-Fixes, die noch nicht upstream gemergt sind; Stock-llama-server ist ungetestet.
- Down-Projektionen der Experts wurden eine Stufe höher quantisiert (IQ3_S statt IQ3_XXS), während alle anderen Expert-Gewichte IQ3_XXS verwenden.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Expert-only IQ3-Requant von DeepSeek-V4-Flash-0731 mit 1,4× Decode-Speed auf CPU-Spill-Rig
Der Reddit-Nutzer /u/HockeyDadNinja veröffentlichte auf Hugging Face unter TacoTakumi/DeepSeek-V4-Flash-0731-GGUF eine Requantisierung, die gezielt nur die 129 Routed-Expert-Tensoren von DeepSeek-V4-Flash-0731 auf IQ3_XXS bzw. IQ3_S (Down-Projektionen) herabsetzt – alle anderen Tensoren (Attention, Shared Experts, Router, Indexer) verbleiben auf Q8_0/BF16/F32 aus Bartowskis MXFP4-Konvertierung. Das Ergebnis sind vier Shards mit insgesamt 111,37 GiB, aufgebaut mit einer Imatrix aus calibration_datav3. Die Qualitätsmessung erfolgte per llama-perplexity KLD gegen Referenz-Logits des MXFP4-Quellmodells auf den ersten 150 Chunks von Wikitext-2 bei einem Kontext von 512 Tokens. Dabei schnitt das neue Quant mit einem mittleren KLD von 0,2386 und einer Top-1-Übereinstimmung von 84,65 % besser ab als Unsloths UD-IQ3_S (KLD 0,2936, Top-1 82,78 %) – allerdings mit dem Nachteil eines 2,12 GiB größeren Files und eines schlechteren maximalen KLD-Werts (12,53 vs. 11,13). Das Test-Rig besteht aus fünf gemischten GPUs (2× RTX 3090, 1× RTX 5060 Ti, 2× RTX 4060 Ti, insgesamt 96 GiB VRAM), wobei die Experts in den System-RAM spillen. Wer reine Token-Geschwindigkeit sucht, ist mit antirez' flachem Q2-Quant des gleichen Modells besser bedient, das bei 80,76 GiB nahezu vollständig im VRAM residiert und 30,27 t/s erreicht.
- Dateiformat: 4 Shards, gesamt 111,37 GiB; Imatrix-Kalibrierung mit calibration_datav3.
- Max-KLD-Nachteil gegenüber UD-IQ3_S: 12,53 (eigenes Quant) vs. 11,13 (Unsloth) – kein vollständiger Sweep-Sieg.
- antirez' Q2-Flat-Quant desselben Modells: 80,76 GiB, ~98 % VRAM-resident, 30,27 t/s – 2,18× schneller als dieses Quant.
- Der Autor nutzt einen gepatchten llama.cpp-Build mit DSV4-Stall-Fixes, die noch nicht upstream gemergt sind; Stock-llama-server ist ungetestet.
- Down-Projektionen der Experts wurden eine Stufe höher quantisiert (IQ3_S statt IQ3_XXS), während alle anderen Expert-Gewichte IQ3_XXS verwenden.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.