NVFP4 schlägt Q5_K_M auf IFBench – nahe am BF16-Niveau
Warum es zählt
NVFP4-Quants laufen laut Testergebnis ~3× schneller bei deutlich weniger VRAM als BF16. Wer NVFP4 lokal betreibt, sollte temp auf 0,9 und min_p auf 0,05 setzen – Defaultwerte verschenken laut diesem Test mehrere Prozentpunkte durch Formatierungsfehler, nicht durch echte Modellfehler.
— Lumeric Redaktion
IFBench (strict, n=50–300) · Spitzenwert
80%
NVFP4 (temp=0.9, min_p=0.05)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
NVFP4 schlägt Q5_K_M auf IFBench – nahe am BF16-Niveau
Warum es zählt
NVFP4-Quants laufen laut Testergebnis ~3× schneller bei deutlich weniger VRAM als BF16. Wer NVFP4 lokal betreibt, sollte temp auf 0,9 und min_p auf 0,05 setzen – Defaultwerte verschenken laut diesem Test mehrere Prozentpunkte durch Formatierungsfehler, nicht durch echte Modellfehler.
— Lumeric Redaktion
IFBench (strict, n=50–300) · Spitzenwert
80%
NVFP4 (temp=0.9, min_p=0.05)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.