QAT-Finetuning eines ternären Bonsai-8B-Modells auf Apple Metal
Warum es zählt
QAT auf nativ-ternären Modellen ist auf Metal ohne CUDA möglich, brachte hier aber keine Verbesserung – Patch-Rate fiel. Klassische Kalibrierungsmethoden (imatrix, AWQ, GPTQ) funktionieren für diese Modellklasse grundsätzlich nicht, da keine Quantisierungsrundungsfehler vorliegen.
— Lumeric Redaktion
SWE-rebench-v1 (Patch Rate) · Spitzenwert
50%
Bonsai 8B (Basis)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
QAT-Finetuning eines ternären Bonsai-8B-Modells auf Apple Metal
Warum es zählt
QAT auf nativ-ternären Modellen ist auf Metal ohne CUDA möglich, brachte hier aber keine Verbesserung – Patch-Rate fiel. Klassische Kalibrierungsmethoden (imatrix, AWQ, GPTQ) funktionieren für diese Modellklasse grundsätzlich nicht, da keine Quantisierungsrundungsfehler vorliegen.
— Lumeric Redaktion
SWE-rebench-v1 (Patch Rate) · Spitzenwert
50%
Bonsai 8B (Basis)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.