llama.cpp: Intel XMX Refactoring verdoppelt Speculative-Decoding-Speed auf Intel B70
ToolsLlama
Warum es zählt
Nutzer von Intel Arc B70 mit SYCL-Backend profitieren ohne Modellwechsel von ~1,7× höherem Durchsatz beim Speculative Decoding. Der PR ist bereits in llama.cpp eingereicht und zeigt, dass XMX-Hardware bei verifizierten Token-Batches erheblich effizienter genutzt werden kann.
— Lumeric Redaktion
Speculative Decoding tok/s (Muse Glimmer Q6_K 30B, Intel B70 SYCL) · Spitzenwert
41.9%
Vorher (Ø)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
llama.cpp: Intel XMX Refactoring verdoppelt Speculative-Decoding-Speed auf Intel B70
ToolsLlama
Warum es zählt
Nutzer von Intel Arc B70 mit SYCL-Backend profitieren ohne Modellwechsel von ~1,7× höherem Durchsatz beim Speculative Decoding. Der PR ist bereits in llama.cpp eingereicht und zeigt, dass XMX-Hardware bei verifizierten Token-Batches erheblich effizienter genutzt werden kann.
— Lumeric Redaktion
Speculative Decoding tok/s (Muse Glimmer Q6_K 30B, Intel B70 SYCL) · Spitzenwert
41.9%
Vorher (Ø)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.