Ein von der Community eingereichter Pull Request für vLLM, das weit verbreitete Open-Source-Inferenz-Framework, wurde gemergt und bringt einen nativen HIP-basierten W4A16-Quantisierungs-Kernel speziell für AMDs RDNA3-Architektur. Die Benchmark-Zahlen aus dem PR zeigen eindrückliche Verbesserungen: Während der bisherige Triton-W4A16-Kernel bei fp16 lediglich 83,2 Tokens pro Sekunde (tk/s) bei max-num-seqs=8 erreichte, liefert der neue RDNA3-Kernel unter gleichen Bedingungen 270,2 tk/s – ein mehr als 3-facher Zuwachs. Bei größeren Batches (max-num-seqs=32) steigt der Durchsatz sogar auf 445,7 tk/s (fp16) bzw. 382,5 tk/s (bf16), womit der neue Kernel die ExLlama-Implementierung ebenfalls übertrifft. Der Post stammt von Reddit-Nutzer StupidityCanFly aus der r/LocalLLaMA-Community und verweist auf den vollständigen PR. Die Änderung ist besonders relevant für Nutzer, die lokale LLMs auf AMD-ROCm-Rigs betreiben, da diese Plattform bisher gegenüber NVIDIA-Hardware deutliche Inferenz-Nachteile hatte.