Der Reddit-Nutzer /u/Anbeeld portierte KVarN – ein von Huawei entwickeltes KV-Cache-Quantisierungsverfahren, das ursprünglich nur für vLLM verfügbar war – innerhalb einer Nacht in seinen eigenen llama.cpp-Fork namens BeeLlama.cpp (v0.3.2 Preview). KVarN verspricht laut Originalpaper eine 3- bis 5-fache KV-Cache-Kompression bei gleichzeitigem Geschwindigkeitsgewinn gegenüber Standard-Quants – ein Versprechen, das Anbeeld mit seiner eigenen KLD-Benchmark-Methodik auf Herz und Nieren prüfte. Die Benchmarks wurden auf einem RTX 3090 mit Qwen 3.6 27B und 64k Kontext über drei verschiedene Konfigurationen durchgeführt; als Vergleichsreferenz diente eine Sammlung von über 50 Quant-Paaren. Die Ergebnisse zeigen: kvarn4-kvarn4 erreicht bei nur 27,9 % Cache-Größe einen Median-KLD von 0,002974 und eine mittlere Präzision von 99,74 % – damit liegt es auf dem Niveau von q5_0 (34,4 % Cache), obwohl es 6,5 Prozentpunkte weniger Speicher benötigt. Gegenüber TurboQuant (turbo4 bei 25,8 % Cache-Größe, Präzision 99,55 %) liefert kvarn4 bei vergleichbarem Footprint messbar bessere Qualität. Der Autor betont, dass es sich um eine sehr rohe Implementierung handelt und die Geschwindigkeit (760 Tok/s vs. 850 Tok/s bei bf16) noch optimierungsbedürftig ist – das Originalpaper zeige bei einer ausgereiften Implementierung jedoch sogar Geschwindigkeitsvorteile. Neben Qwen 3.6 27B ist auch Gemma 4 31B explizit unterstützt; der Fork steht als Prebuild zum Download bereit.