llama.cpp: SYCL/Intel-Backend erhält Flash Attention und Performance-Fixes
Warum es zählt
Intel-Xe2-GPU-Nutzer profitieren von massiv schnellerer Prefill-Phase bei langen Kontexten (80k Token). Die Fixes für Q2_K/Q4_K/Q5_K-Quantisierung beheben fehlerhafte Berechnungen im SYCL-Backend direkt.
— Lumeric Redaktion
4.26× Prefill-Speedup
Qwen3.6-27b-Q8_0 bei p=80k auf Xe2
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com2w
llama.cpp: hipBLAS-Optimierung bringt bis zu 65% Speedup für AMD Vega-GPUs
- LAUNCHreddit.com1w
llama.cpp PR verdoppelt Prompt-Speed auf Intel ARC B580
- LAUNCHreddit.com3w
llama.cpp ergänzt granite-speech-4.1-2b, LFM2.5-Modelle und Vulkan-Verbesserungen
- LAUNCHreddit.com2w
llama.cpp b9788 bringt Tensor-Split-Unterstützung für Intel-GPUs
llama.cpp: SYCL/Intel-Backend erhält Flash Attention und Performance-Fixes
Warum es zählt
Intel-Xe2-GPU-Nutzer profitieren von massiv schnellerer Prefill-Phase bei langen Kontexten (80k Token). Die Fixes für Q2_K/Q4_K/Q5_K-Quantisierung beheben fehlerhafte Berechnungen im SYCL-Backend direkt.
— Lumeric Redaktion
4.26× Prefill-Speedup
Qwen3.6-27b-Q8_0 bei p=80k auf Xe2
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com2w
llama.cpp: hipBLAS-Optimierung bringt bis zu 65% Speedup für AMD Vega-GPUs
- LAUNCHreddit.com1w
llama.cpp PR verdoppelt Prompt-Speed auf Intel ARC B580
- LAUNCHreddit.com3w
llama.cpp ergänzt granite-speech-4.1-2b, LFM2.5-Modelle und Vulkan-Verbesserungen
- LAUNCHreddit.com2w
llama.cpp b9788 bringt Tensor-Split-Unterstützung für Intel-GPUs