llama.cpp: Dedizierter Flash-Attention-Kernel für Intel Arc Vulkan steigert Prefill massiv
CompaniesDeepSeek
Warum es zählt
Lokale Inferenz auf Intel-Arc-Hardware profitiert ohne Hardwarewechsel von bis zu 3× höherem Prefill-Durchsatz. Der Kernel nutzt native Matrix-Core-Shapes (m16n16k16/SIMD32) und unterstützt auch MQA- und MLA-Modelle mit einzelnem KV-Head.
— Lumeric Redaktion
Prefill-Durchsatz pp8192 – B70 Pro Windows (t/s) · Spitzenwert
1064.67%
Qwen3 8B Q4_K – Baseline
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
llama.cpp: Dedizierter Flash-Attention-Kernel für Intel Arc Vulkan steigert Prefill massiv
CompaniesDeepSeek
Warum es zählt
Lokale Inferenz auf Intel-Arc-Hardware profitiert ohne Hardwarewechsel von bis zu 3× höherem Prefill-Durchsatz. Der Kernel nutzt native Matrix-Core-Shapes (m16n16k16/SIMD32) und unterstützt auch MQA- und MLA-Modelle mit einzelnem KV-Head.
— Lumeric Redaktion
Prefill-Durchsatz pp8192 – B70 Pro Windows (t/s) · Spitzenwert
1064.67%
Qwen3 8B Q4_K – Baseline
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.