R9V: Custom RDNA4-Kernels bringen 3× TG- und 30× PP-Speed für Qwen3.8
R9V ist ein von einem einzelnen Entwickler über mehrere Monate entstandenes, hochgradig angepasstes Kernel-Set, das speziell auf die Mikroarchitektur RDNA4 (AMD Radeon RX 9700) zugeschnitten ist. Als Ausgangspunkt diente vLLM-Radiance, in das die eigenen Kernel als Drop-in eingesteckt wurden; für Dense-Modelle entsteht parallel ein vollständig eigenständiges Inferenz-Backend. Die Grundlagenarbeit umfasste die native Nutzung von Wave32 statt der bei den meisten Engines üblichen Konvertierung, DPP-Operationen, Occupancy-Control, RDNA4-Integer-Dot-Instructions sowie die maximale Ausschöpfung der LDS-Größen für HyperConnection-Kernel. Der entscheidende MoE-Prefill-Gewinn entstand durch das Gruppieren von Prompt-Tokens nach Expert in Gruppen der Größe 16, kombiniert mit einem effizienten Hot/Cold-Expert-Mapping; der Entwickler schätzt, 80 % des theoretischen Maximums erreicht zu haben. Beim Multi-Token-Prediction (MTP) wurde durch Wiederverwendung der Token-Routen zu den meistgenutzten Experten eine Bandbreitenoptimierung von 27 % erzielt. Für das Dense-Modell Muse Glimmer 30B, das auf einen einzelnen R9700 ausgelegt ist, liegt der TG-Gewinn gegenüber llama.cpp Vulkan bei rund 1,4×, während der PP8192-Durchsatz gegenüber llama.cpp ROCm um 46 % steigt. Das Test-Setup besteht aus zwei R9700s mit 128 GB DDR5, das laut Entwickler unter bestimmten Modellgrößen theoretisch die Bandbreite eines Unified-Memory-Systems erreichen kann.
- MTP-Optimierung: Token-Routen zu den heißesten Experten werden wiederverwendet, was laut Entwickler 27 % Bandbreitenersparnis bringt.
- Prefill-Kernel gruppiert Prompt-Tokens nach Expert mit einer Gruppengröße von 16; Entwickler schätzt noch ~20 % Luft bis zum theoretischen Maximum.
- Dense-Kernel (Muse Glimmer 30B): Multivector-Gewichte werden pro Block nur einmal geladen/dekodiert und akkumulieren 2–4 Aktivierungszeilen gleichzeitig statt einer.
- HyperConnection Down-Projection und Up/Gate-Fusion nutzen zyklische Zeilenverteilung auf Workgroups, um gfx1201-Wellen vollständig auszulasten.
- Benchmark-Einschränkung: Der PP8192-Vergleich für Qwen3.8 ist laut Entwickler nicht vollständig fair, da vLLM-Radiance mit SSD-backed N-gram-Prefill besonders langsam ist.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com2w
4× AMD R9700 AI Pro-Setup für 10-köpfiges Startup: 128 GB VRAM, 16 Sessions
- MEINUNGreddit.com3w
Community diskutiert optimale Inferenz-Engine für RDNA4 mit Qwen 3.8
- BENCHMARKreddit.com2w
176 t/s Decode mit Q4 Qwen-3.8 auf 2×RX 9700 + 64 GB DDR5
- MEINUNGreddit.com3w
Budget-VRAM-Rig: 8× Radeon Pro V620 mit Custom vLLM-Fork erreicht 3000+ t/s Prefill
R9V: Custom RDNA4-Kernels bringen 3× TG- und 30× PP-Speed für Qwen3.8
R9V ist ein von einem einzelnen Entwickler über mehrere Monate entstandenes, hochgradig angepasstes Kernel-Set, das speziell auf die Mikroarchitektur RDNA4 (AMD Radeon RX 9700) zugeschnitten ist. Als Ausgangspunkt diente vLLM-Radiance, in das die eigenen Kernel als Drop-in eingesteckt wurden; für Dense-Modelle entsteht parallel ein vollständig eigenständiges Inferenz-Backend. Die Grundlagenarbeit umfasste die native Nutzung von Wave32 statt der bei den meisten Engines üblichen Konvertierung, DPP-Operationen, Occupancy-Control, RDNA4-Integer-Dot-Instructions sowie die maximale Ausschöpfung der LDS-Größen für HyperConnection-Kernel. Der entscheidende MoE-Prefill-Gewinn entstand durch das Gruppieren von Prompt-Tokens nach Expert in Gruppen der Größe 16, kombiniert mit einem effizienten Hot/Cold-Expert-Mapping; der Entwickler schätzt, 80 % des theoretischen Maximums erreicht zu haben. Beim Multi-Token-Prediction (MTP) wurde durch Wiederverwendung der Token-Routen zu den meistgenutzten Experten eine Bandbreitenoptimierung von 27 % erzielt. Für das Dense-Modell Muse Glimmer 30B, das auf einen einzelnen R9700 ausgelegt ist, liegt der TG-Gewinn gegenüber llama.cpp Vulkan bei rund 1,4×, während der PP8192-Durchsatz gegenüber llama.cpp ROCm um 46 % steigt. Das Test-Setup besteht aus zwei R9700s mit 128 GB DDR5, das laut Entwickler unter bestimmten Modellgrößen theoretisch die Bandbreite eines Unified-Memory-Systems erreichen kann.
- MTP-Optimierung: Token-Routen zu den heißesten Experten werden wiederverwendet, was laut Entwickler 27 % Bandbreitenersparnis bringt.
- Prefill-Kernel gruppiert Prompt-Tokens nach Expert mit einer Gruppengröße von 16; Entwickler schätzt noch ~20 % Luft bis zum theoretischen Maximum.
- Dense-Kernel (Muse Glimmer 30B): Multivector-Gewichte werden pro Block nur einmal geladen/dekodiert und akkumulieren 2–4 Aktivierungszeilen gleichzeitig statt einer.
- HyperConnection Down-Projection und Up/Gate-Fusion nutzen zyklische Zeilenverteilung auf Workgroups, um gfx1201-Wellen vollständig auszulasten.
- Benchmark-Einschränkung: Der PP8192-Vergleich für Qwen3.8 ist laut Entwickler nicht vollständig fair, da vLLM-Radiance mit SSD-backed N-gram-Prefill besonders langsam ist.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com2w
4× AMD R9700 AI Pro-Setup für 10-köpfiges Startup: 128 GB VRAM, 16 Sessions
- MEINUNGreddit.com3w
Community diskutiert optimale Inferenz-Engine für RDNA4 mit Qwen 3.8
- BENCHMARKreddit.com2w
176 t/s Decode mit Q4 Qwen-3.8 auf 2×RX 9700 + 64 GB DDR5
- MEINUNGreddit.com3w
Budget-VRAM-Rig: 8× Radeon Pro V620 mit Custom vLLM-Fork erreicht 3000+ t/s Prefill