KV-Cache-Quantisierung: 413 Konfigurationen auf Qwen 3.6 27B und Gemma 4 31B getestet
Der Reddit-Post von /u/Anbeeld präsentiert einen umfangreichen Benchmark-Artikel zu KV-Cache-Quantisierungsoptionen in BeeLlama.cpp v0.4.0, einem Fork von llama.cpp, der zusätzliche Quantisierungstypen und zwei neue Methoden einführt. Getestet wurden 413 Konfigurationen: 238 auf Qwen 3.6 27B Q5_K_S mit 64k-Kontext und 175 auf Gemma 4 31B Q5_K_S mit 16k-Kontext. Als Qualitätsmetrik dient die Kullback-Leibler-Divergenz (KLD) — niedrigere Werte bedeuten weniger Abweichung vom BF16-Referenzmodell. Neben Standardquantisierungen (q4_0 bis q8_0) wurden erweiterte Typen (q6_0, q6_1) sowie Niedrigbit-Typen ab q2_0 einbezogen. Die beiden zentralen BeeLlama-Neuerungen sind KVarN (Variance-Normalized KV-Cache, ursprünglich von Huawei entwickelt) und der sogenannte Precision Tail, der die jüngsten X Tokens des KV-Caches in BF16 oder F16 voller Präzision hält. Für Qwen 3.6 27B zeigt sich, dass der Precision Tail mit 1024 Tokens quer durch alle Quantisierungsstufen spürbare KLD-Verbesserungen bringt, insbesondere beim 99,9%-Perzentil. Bei Gemma 4 31B fallen die absoluten KLD-Werte deutlich höher aus — das 99,9%-Perzentil liegt selbst bei q8_0 bei 16,8, was auf eine grundsätzlich größere Quantisierungsempfindlichkeit des Modells hinweist; Precision-Tail-Konfigurationen wurden für Gemma daher nicht in die finale Empfehlungsliste aufgenommen.
- KVarN ist ein von Huawei entwickeltes Verfahren zur varianz-normierten KV-Cache-Quantisierung, das in BeeLlama.cpp implementiert wurde — nicht im Upstream llama.cpp.
- Der Precision Tail hält die neuesten 1024 Tokens des KV-Caches in BF16; für Qwen senkt kvarn6 + Tail 1024 den VRAM-Bedarf auf 1744 MiB gegenüber 2176 MiB bei q8_0 ohne Tail, bei besserem Median-KLD (0,000879 vs. 0,000909).
- Für Gemma 4 31B entfällt die Precision-Tail-Empfehlung komplett: Das Modell zeigt bereits bei q8_0 ein 99,9%-KLD von 16,8 — rund 200× höher als bei Qwen — und reagiert auf den Tail kaum messbar.
- Die Standard-Only-Tabelle für Qwen zeigt einen deutlichen Qualitätsabfall unterhalb von q5_0 (Median-KLD springt von 0,001154 auf 0,001433 bei q5_0–q4_1 ohne Tail), den der Autor als 'Cliff' bezeichnet.
- BeeLlama.cpp v0.4.0 führt auch Hybrid-Konfigurationen ein (z.B. kvarn6-kvarn5, q8_0-q6_0), bei denen Key- und Value-Cache unterschiedlich quantisiert werden.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
KV-Cache-Quantisierung: 413 Konfigurationen auf Qwen 3.6 27B und Gemma 4 31B getestet
Der Reddit-Post von /u/Anbeeld präsentiert einen umfangreichen Benchmark-Artikel zu KV-Cache-Quantisierungsoptionen in BeeLlama.cpp v0.4.0, einem Fork von llama.cpp, der zusätzliche Quantisierungstypen und zwei neue Methoden einführt. Getestet wurden 413 Konfigurationen: 238 auf Qwen 3.6 27B Q5_K_S mit 64k-Kontext und 175 auf Gemma 4 31B Q5_K_S mit 16k-Kontext. Als Qualitätsmetrik dient die Kullback-Leibler-Divergenz (KLD) — niedrigere Werte bedeuten weniger Abweichung vom BF16-Referenzmodell. Neben Standardquantisierungen (q4_0 bis q8_0) wurden erweiterte Typen (q6_0, q6_1) sowie Niedrigbit-Typen ab q2_0 einbezogen. Die beiden zentralen BeeLlama-Neuerungen sind KVarN (Variance-Normalized KV-Cache, ursprünglich von Huawei entwickelt) und der sogenannte Precision Tail, der die jüngsten X Tokens des KV-Caches in BF16 oder F16 voller Präzision hält. Für Qwen 3.6 27B zeigt sich, dass der Precision Tail mit 1024 Tokens quer durch alle Quantisierungsstufen spürbare KLD-Verbesserungen bringt, insbesondere beim 99,9%-Perzentil. Bei Gemma 4 31B fallen die absoluten KLD-Werte deutlich höher aus — das 99,9%-Perzentil liegt selbst bei q8_0 bei 16,8, was auf eine grundsätzlich größere Quantisierungsempfindlichkeit des Modells hinweist; Precision-Tail-Konfigurationen wurden für Gemma daher nicht in die finale Empfehlungsliste aufgenommen.
- KVarN ist ein von Huawei entwickeltes Verfahren zur varianz-normierten KV-Cache-Quantisierung, das in BeeLlama.cpp implementiert wurde — nicht im Upstream llama.cpp.
- Der Precision Tail hält die neuesten 1024 Tokens des KV-Caches in BF16; für Qwen senkt kvarn6 + Tail 1024 den VRAM-Bedarf auf 1744 MiB gegenüber 2176 MiB bei q8_0 ohne Tail, bei besserem Median-KLD (0,000879 vs. 0,000909).
- Für Gemma 4 31B entfällt die Precision-Tail-Empfehlung komplett: Das Modell zeigt bereits bei q8_0 ein 99,9%-KLD von 16,8 — rund 200× höher als bei Qwen — und reagiert auf den Tail kaum messbar.
- Die Standard-Only-Tabelle für Qwen zeigt einen deutlichen Qualitätsabfall unterhalb von q5_0 (Median-KLD springt von 0,001154 auf 0,001433 bei q5_0–q4_1 ohne Tail), den der Autor als 'Cliff' bezeichnet.
- BeeLlama.cpp v0.4.0 führt auch Hybrid-Konfigurationen ein (z.B. kvarn6-kvarn5, q8_0-q6_0), bei denen Key- und Value-Cache unterschiedlich quantisiert werden.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.