Die Studie, geteilt auf r/LocalLLaMA, untersucht erstmals systematisch TurboQuant – eine KV-Cache-Quantisierungsmethode – im Vergleich zur etablierten FP8-Option (--kv-cache-dtype fp8) und der BF16-Baseline. Zentrales Ergebnis: FP8 bietet eine 2× KV-Cache-Kompression mit vernachlässigbarem Genauigkeitsverlust und entspricht BF16 in den meisten Durchsatz- und Latenzmetriken. TurboQuant k8v4 erreicht zwar eine leicht höhere Kompressionsrate (2,4×), bringt aber konsistente Nachteile bei Throughput und Latenz – der marginale Kapazitätsgewinn rechtfertigt dies nicht. Die Variante 4bit-nc gilt als praktikabelster TurboQuant-Ansatz für speicherkritische Szenarien, etwa Edge-Deployments, trotz moderater Einbußen bei Genauigkeit und Geschwindigkeit. Die aggressiveren 3-Bit-Varianten (k3v4-nc, 3bit-nc) zeigen deutliche Genauigkeitseinbrüche – insbesondere bei Reasoning- und Long-Context-Aufgaben – und erheblich schlechtere Latenz, was sie für Produktionsumgebungen ungeeignet macht.