vLLM integriert nativen HIP W4A16-Kernel für ROCm-GPUs
Ein von der Community eingereichter Pull Request für vLLM, das weit verbreitete Open-Source-Inferenz-Framework, wurde gemergt und bringt einen nativen HIP-basierten W4A16-Quantisierungs-Kernel speziell für AMDs RDNA3-Architektur. Die Benchmark-Zahlen aus dem PR zeigen eindrückliche Verbesserungen: Während der bisherige Triton-W4A16-Kernel bei fp16 lediglich 83,2 Tokens pro Sekunde (tk/s) bei max-num-seqs=8 erreichte, liefert der neue RDNA3-Kernel unter gleichen Bedingungen 270,2 tk/s – ein mehr als 3-facher Zuwachs. Bei größeren Batches (max-num-seqs=32) steigt der Durchsatz sogar auf 445,7 tk/s (fp16) bzw. 382,5 tk/s (bf16), womit der neue Kernel die ExLlama-Implementierung ebenfalls übertrifft. Der Post stammt von Reddit-Nutzer StupidityCanFly aus der r/LocalLLaMA-Community und verweist auf den vollständigen PR. Die Änderung ist besonders relevant für Nutzer, die lokale LLMs auf AMD-ROCm-Rigs betreiben, da diese Plattform bisher gegenüber NVIDIA-Hardware deutliche Inferenz-Nachteile hatte.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com1w
Intel LLM-Scaler-vLLM PV 1.5 mit deutlichen Verbesserungen
- BENCHMARKreddit.com3w
Strata-Fork für IBM AC922 erreicht 7.357 tk/s Prefill mit Qwen3.8B
- FORSCHUNGreddit.com1w
Llama.cpp PR: AMD R9700 schlägt Strata-Decode-Performance
- FORSCHUNGpytorch.org3w
Helion-Integration in vLLM: Portabler Kernel-DSL für LLM-Inferenz
vLLM integriert nativen HIP W4A16-Kernel für ROCm-GPUs
Ein von der Community eingereichter Pull Request für vLLM, das weit verbreitete Open-Source-Inferenz-Framework, wurde gemergt und bringt einen nativen HIP-basierten W4A16-Quantisierungs-Kernel speziell für AMDs RDNA3-Architektur. Die Benchmark-Zahlen aus dem PR zeigen eindrückliche Verbesserungen: Während der bisherige Triton-W4A16-Kernel bei fp16 lediglich 83,2 Tokens pro Sekunde (tk/s) bei max-num-seqs=8 erreichte, liefert der neue RDNA3-Kernel unter gleichen Bedingungen 270,2 tk/s – ein mehr als 3-facher Zuwachs. Bei größeren Batches (max-num-seqs=32) steigt der Durchsatz sogar auf 445,7 tk/s (fp16) bzw. 382,5 tk/s (bf16), womit der neue Kernel die ExLlama-Implementierung ebenfalls übertrifft. Der Post stammt von Reddit-Nutzer StupidityCanFly aus der r/LocalLLaMA-Community und verweist auf den vollständigen PR. Die Änderung ist besonders relevant für Nutzer, die lokale LLMs auf AMD-ROCm-Rigs betreiben, da diese Plattform bisher gegenüber NVIDIA-Hardware deutliche Inferenz-Nachteile hatte.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com1w
Intel LLM-Scaler-vLLM PV 1.5 mit deutlichen Verbesserungen
- BENCHMARKreddit.com3w
Strata-Fork für IBM AC922 erreicht 7.357 tk/s Prefill mit Qwen3.8B
- FORSCHUNGreddit.com1w
Llama.cpp PR: AMD R9700 schlägt Strata-Decode-Performance
- FORSCHUNGpytorch.org3w
Helion-Integration in vLLM: Portabler Kernel-DSL für LLM-Inferenz