Gemma 4 QAT MTP-Heads auf HuggingFace + PARALLEL=2-Fix + 12B-Benchmark
Warum es zählt
QAT-abgestimmte MTP-Heads steigern die Akzeptanzrate des 26B-A4B-Modells von 56,9 % auf 91,8 %. Mit PARALLEL=2 erreicht das 12B-Modell auf Strix Halo +31 % aggregierten Durchsatz gegenüber Plain-2-Slot – relevanter Praxis-Gewinn für lokale Multi-Slot-Inferenz.
— Lumeric Redaktion
MTP Acceptance Rate (QAT-matched vs. Non-QAT heads) · Spitzenwert
71.3%
12B QAT Q4_0 – non-QAT head
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Gemma 4 QAT MTP-Heads auf HuggingFace + PARALLEL=2-Fix + 12B-Benchmark
Warum es zählt
QAT-abgestimmte MTP-Heads steigern die Akzeptanzrate des 26B-A4B-Modells von 56,9 % auf 91,8 %. Mit PARALLEL=2 erreicht das 12B-Modell auf Strix Halo +31 % aggregierten Durchsatz gegenüber Plain-2-Slot – relevanter Praxis-Gewinn für lokale Multi-Slot-Inferenz.
— Lumeric Redaktion
MTP Acceptance Rate (QAT-matched vs. Non-QAT heads) · Spitzenwert
71.3%
12B QAT Q4_0 – non-QAT head
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.