llama.cpp: UE4M3-LUT-Optimierung bringt ARM NVFP4 auf 5× Speed-up
Warum es zählt
CPU-only-Inferenz von NVFP4-Modellen wie Qwen3.5-4B wird auf ARM-Hardware drastisch schneller – relevant für alle, die quantisierte Modelle ohne GPU lokal betreiben. Die LUT-Infrastruktur ist bereits für x86/AVX2 vorhanden und wird jetzt vereinheitlicht.
— Lumeric Redaktion
llama-bench pp512 (Qwen3.5-4B NVFP4, CPU, 4 Threads) · Spitzenwert
1.89%
Baseline (master)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
llama.cpp: UE4M3-LUT-Optimierung bringt ARM NVFP4 auf 5× Speed-up
Warum es zählt
CPU-only-Inferenz von NVFP4-Modellen wie Qwen3.5-4B wird auf ARM-Hardware drastisch schneller – relevant für alle, die quantisierte Modelle ohne GPU lokal betreiben. Die LUT-Infrastruktur ist bereits für x86/AVX2 vorhanden und wird jetzt vereinheitlicht.
— Lumeric Redaktion
llama-bench pp512 (Qwen3.5-4B NVFP4, CPU, 4 Threads) · Spitzenwert
1.89%
Baseline (master)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.