Leech-Gitter-Quantisierung schlägt IQ2_S bei 2,7 Bit pro Gewicht für Qwen3
CompaniesPerplexity
Warum es zählt
Bei gleichen VRAM-Kosten liefert LLVQ auf MMLU bis zu +9,1 Punkte gegenüber IQ2_S (4B); wer Qualität über Speed priorisiert, kann mit demselben VRAM eine Modellgröße höher gehen. Der Speed-Nachteil (34–64 tok/s langsamer als llama.cpp) bleibt jedoch erheblich.
— Lumeric Redaktion
MMLU (5-shot, 14 042 Fragen) · Spitzenwert
57.9%
LLVQ 4B (~2.70 bpw)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Leech-Gitter-Quantisierung schlägt IQ2_S bei 2,7 Bit pro Gewicht für Qwen3
CompaniesPerplexity
Warum es zählt
Bei gleichen VRAM-Kosten liefert LLVQ auf MMLU bis zu +9,1 Punkte gegenüber IQ2_S (4B); wer Qualität über Speed priorisiert, kann mit demselben VRAM eine Modellgröße höher gehen. Der Speed-Nachteil (34–64 tok/s langsamer als llama.cpp) bleibt jedoch erheblich.
— Lumeric Redaktion
MMLU (5-shot, 14 042 Fragen) · Spitzenwert
57.9%
LLVQ 4B (~2.70 bpw)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.