NPU-Engine reverse-engineered: GGUF direkt auf Axera AX8850 – 1,5× schneller als Vendor-Runtime
Warum es zählt
Der Ansatz – GGUF-Gewichte zur Ladezeit in vorkompilierte Vendor-Engines zu patchen – eliminiert den Vendor-Compiler-Schritt und übertrifft die geschlossene Vendor-Runtime um 1,5×. Für Edge-AI-Builder auf LPDDR4x-NPUs liefert die Analyse außerdem ein klares Modell: Decode-Speed = Bytes pro Token × Token pro Weight-Pass, womit Optimierungen (int4, Vocab-Trim) vorhersagbar werden.
— Lumeric Redaktion
24,5 t/s Decode / 716 t/s Prefill
Qwen3-0.6B auf Axera AX8850 + Pi 5
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com2w
27B-Reasoning-Modell in 5,9 GB: Ternäres GGUF für llama.cpp
- BENCHMARKarxiv.org4d
VLA-HWBench: Latenz-Analyse von 18 VLA-Modellen auf Edge-Hardware
- LAUNCHreddit.com3w
Qwen3.8-27B (HauhauCS) auf RTX 4090: 262K Kontext bei ~130 tok/s
- BENCHMARKreddit.com2w
176 t/s Decode mit Q4 Qwen-3.8 auf 2×RX 9700 + 64 GB DDR5
NPU-Engine reverse-engineered: GGUF direkt auf Axera AX8850 – 1,5× schneller als Vendor-Runtime
Warum es zählt
Der Ansatz – GGUF-Gewichte zur Ladezeit in vorkompilierte Vendor-Engines zu patchen – eliminiert den Vendor-Compiler-Schritt und übertrifft die geschlossene Vendor-Runtime um 1,5×. Für Edge-AI-Builder auf LPDDR4x-NPUs liefert die Analyse außerdem ein klares Modell: Decode-Speed = Bytes pro Token × Token pro Weight-Pass, womit Optimierungen (int4, Vocab-Trim) vorhersagbar werden.
— Lumeric Redaktion
24,5 t/s Decode / 716 t/s Prefill
Qwen3-0.6B auf Axera AX8850 + Pi 5
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com2w
27B-Reasoning-Modell in 5,9 GB: Ternäres GGUF für llama.cpp
- BENCHMARKarxiv.org4d
VLA-HWBench: Latenz-Analyse von 18 VLA-Modellen auf Edge-Hardware
- LAUNCHreddit.com3w
Qwen3.8-27B (HauhauCS) auf RTX 4090: 262K Kontext bei ~130 tok/s
- BENCHMARKreddit.com2w
176 t/s Decode mit Q4 Qwen-3.8 auf 2×RX 9700 + 64 GB DDR5