MoE-Expert-Prefetching via MTP-Head: 78% Hit-Rate bei CPU/GPU-Offload
Warum es zählt
Bei CPU/GPU-Offload ist PCIe der Flaschenhals, nicht Compute. 78% Prefetch-Hit-Rate könnte laut Messungen den Durchsatz von ~35 tok/s auf ~180–200 tok/s skalieren – ohne neues Modell, da der MTP-Head bereits für Speculative Decoding läuft. Relevant für alle, die große MoE-Modelle auf Consumer-Hardware betreiben.
— Lumeric Redaktion
MoE Expert Prefetch Hit Rate (Qwen3.6 35B A3B) · Spitzenwert
20.7%
Naive Prefetch (prev token)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
MoE-Expert-Prefetching via MTP-Head: 78% Hit-Rate bei CPU/GPU-Offload
Warum es zählt
Bei CPU/GPU-Offload ist PCIe der Flaschenhals, nicht Compute. 78% Prefetch-Hit-Rate könnte laut Messungen den Durchsatz von ~35 tok/s auf ~180–200 tok/s skalieren – ohne neues Modell, da der MTP-Head bereits für Speculative Decoding läuft. Relevant für alle, die große MoE-Modelle auf Consumer-Hardware betreiben.
— Lumeric Redaktion
MoE Expert Prefetch Hit Rate (Qwen3.6 35B A3B) · Spitzenwert
20.7%
Naive Prefetch (prev token)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.