Base-3-Packing für ternäre GGUFs spart ~22 % VRAM verlustlos
Warum es zählt
Wer ternäre Modelle wie BitNet-b1.58 lokal betreibt, kann mit B3S die Gewichtsgröße bei 9B von ~2,5 GB auf ~2,0 GB und bei 27B von ~7,6 GB auf ~5,9 GB senken – ohne Qualitätsverlust. CUDA- und Metal-Support existiert im Code, ist aber noch ungetestet.
— Lumeric Redaktion
1,75 Bit/Gewicht
B3S-Packing für ternäre GGUF-Modelle
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Base-3-Packing für ternäre GGUFs spart ~22 % VRAM verlustlos
Warum es zählt
Wer ternäre Modelle wie BitNet-b1.58 lokal betreibt, kann mit B3S die Gewichtsgröße bei 9B von ~2,5 GB auf ~2,0 GB und bei 27B von ~7,6 GB auf ~5,9 GB senken – ohne Qualitätsverlust. CUDA- und Metal-Support existiert im Code, ist aber noch ungetestet.
— Lumeric Redaktion
1,75 Bit/Gewicht
B3S-Packing für ternäre GGUF-Modelle
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.