Virtual Head Attention: 4× weniger KV-Cache bei besserem RULER-Score als GQA
Warum es zählt
VHA lässt sich zur Inferenz auf Standard-GQA-2 reduzieren – ohne neue Ops oder Kernel. Für Long-Context-Deployments (bis 128K) liefert es RULER 84,4 vs. 73,0 bei GQA, mit nur 2 statt 4 KV-Heads und 4× kleinerem KV-Cache gegenüber GQA-8.
— Lumeric Redaktion
RULER (8K–128K avg) · Spitzenwert
84.4%
VHA (2 KV heads)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Virtual Head Attention: 4× weniger KV-Cache bei besserem RULER-Score als GQA
Warum es zählt
VHA lässt sich zur Inferenz auf Standard-GQA-2 reduzieren – ohne neue Ops oder Kernel. Für Long-Context-Deployments (bis 128K) liefert es RULER 84,4 vs. 73,0 bei GQA, mit nur 2 statt 4 KV-Heads und 4× kleinerem KV-Cache gegenüber GQA-8.
— Lumeric Redaktion
RULER (8K–128K avg) · Spitzenwert
84.4%
VHA (2 KV heads)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.