Optimierte Qwen3.5-9B-Quants schlagen alle publizierten GGUF-Konkurrenten
CompaniesHugging Face
Warum es zählt
Wer Qwen3.5-9B lokal betreibt, kann mit diesen Quants bei gleicher Dateigröße bis zu 36% niedrigere KLD-Abweichung von BF16 erzielen – besonders die kleinen IQ2_M-Files zeigen ~10 Punkte mehr auf HumanEval+. Praktisch relevant für Inference auf Consumer-Hardware.
— Lumeric Redaktion
HumanEval+ · Spitzenwert
10%
AaryanK IQ2_M
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Optimierte Qwen3.5-9B-Quants schlagen alle publizierten GGUF-Konkurrenten
CompaniesHugging Face
Warum es zählt
Wer Qwen3.5-9B lokal betreibt, kann mit diesen Quants bei gleicher Dateigröße bis zu 36% niedrigere KLD-Abweichung von BF16 erzielen – besonders die kleinen IQ2_M-Files zeigen ~10 Punkte mehr auf HumanEval+. Praktisch relevant für Inference auf Consumer-Hardware.
— Lumeric Redaktion
HumanEval+ · Spitzenwert
10%
AaryanK IQ2_M
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.