Open-Source RK3588-NPU-Runtime: Qwen3.5-4B doppelt so schnell wie Vendor-SDK
CompaniesOpenAI
Warum es zählt
Edge-Entwickler mit RK3588-Boards können damit die NPU vollständig ohne Rockchips proprietäre Userspace-Bibliotheken nutzen und den Inference-Stack selbst anpassen. Prefill-Durchsatz steigt gegenüber RKLLM 1.3.1 von ~58 auf ~148 tok/s – relevant für lokale, ressourcenbeschränkte Deployments.
— Lumeric Redaktion
Qwen3.5-4B Decode-Throughput auf RK3588 NPU · Spitzenwert
5.54%
RKLLM 1.3.1 (nach 512 Tokens)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Open-Source RK3588-NPU-Runtime: Qwen3.5-4B doppelt so schnell wie Vendor-SDK
CompaniesOpenAI
Warum es zählt
Edge-Entwickler mit RK3588-Boards können damit die NPU vollständig ohne Rockchips proprietäre Userspace-Bibliotheken nutzen und den Inference-Stack selbst anpassen. Prefill-Durchsatz steigt gegenüber RKLLM 1.3.1 von ~58 auf ~148 tok/s – relevant für lokale, ressourcenbeschränkte Deployments.
— Lumeric Redaktion
Qwen3.5-4B Decode-Throughput auf RK3588 NPU · Spitzenwert
5.54%
RKLLM 1.3.1 (nach 512 Tokens)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.