Qwen3.8 27B auf Strix Halo: Optimiertes ROCm-Setup mit Speculative Decoding
Der Reddit-Nutzer u/ilintar hat das Projekt im Rahmen seiner Mitarbeit am Lemonade-Projekt von AMD entwickelt, zu dem ihn u/jfowers_amd eingeladen hatte – inklusive Bereitstellung von Testhardware. Ausgangspunkt war ein grundlegender Bug im aktuellen ROCm-Mainstream-Build von llama.cpp: Der PR #27311 zur Behebung des Unified-Memory-Zugriffs ist noch nicht gemergt, weshalb ilintar einen eigenen Fork-Branch („strix-halo") pflegt, der Ring-Buffer-Fixes und eine TOP-K-Optimierung zusammenführt. Ein weiterer ROCm-Bug verursacht extrem langsame Graph-Updates; ein entsprechender Fix-PR (#11069 im rocm-systems-Repository) ist eingereicht, aber noch nicht gelandet – bis dahin ist eine selbstkompilierte .so-Datei Pflicht. Für die Dispatch-Beschleunigung adaptierte ilintar Kaden-Schutts Redline-Bibliothek und implementierte PM4-basierte Low-Level-Dispatches in HIP Graphs, was bei dispatch-limitierten Modellen bis zu 20 % mehr Dekodiergeschwindigkeit bringt. Da Qwen3.8 27B auf Strix Halo jedoch bandbreitenlimitiert ist, fallen die Gewinne dort geringer aus. Das ROCmFP4-Format wurde explizit verworfen: RDNA 3.5 (gfx1151) besitzt keine native FP4-Hardware-Unterstützung, weshalb IQ4_XS sowohl bei Perplexität als auch bei Kernel-Performance überlegen ist. Die fertige Lösung inklusive quantisierter DFlash2-Drafts (ebenfalls IQ4_XS, Imatrix von Bartowski) ist als installierbares Linux-Paket auf pwilkin.github.io/strix-halo verfügbar.
- PM4-basierte HIP-Graph-Dispatches bringen bis zu 20 % Dekodier-Speedup bei dispatch-limitierten Modellen, wirken auf Strix Halo aber weniger stark, da Qwen3.8 27B dort bandbreitenlimitiert ist.
- ROCmFP4 wurde getestet und abgelehnt: RDNA 3.5 (gfx1151) hat keine native FP4-Hardware-Unterstützung; IQ4_XS schlägt es bei Perplexität und Kernel-Laufzeit.
- Nathans Strix-Halo-Vulkan-Fork wurde ebenfalls verglichen und erwies sich als langsamer als das optimierte ROCm-Setup (Details auf der Projekt-Website).
- Die IQ4_XS-Quantisierung des DFlash2-Draft-Modells liefert schnellere Dekodierung bei nahezu gleicher Akzeptanzrate gegenüber höher-bittigen Varianten.
- Der llama.cpp-PR #27311 (Unified Memory Access Fix) und der ROCm-PR #11069 (Graph-Update-Bug) sind die zwei zentralen offenen Upstream-Fixes, auf die das Setup wartet.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Qwen3.8 27B auf Strix Halo: Optimiertes ROCm-Setup mit Speculative Decoding
Der Reddit-Nutzer u/ilintar hat das Projekt im Rahmen seiner Mitarbeit am Lemonade-Projekt von AMD entwickelt, zu dem ihn u/jfowers_amd eingeladen hatte – inklusive Bereitstellung von Testhardware. Ausgangspunkt war ein grundlegender Bug im aktuellen ROCm-Mainstream-Build von llama.cpp: Der PR #27311 zur Behebung des Unified-Memory-Zugriffs ist noch nicht gemergt, weshalb ilintar einen eigenen Fork-Branch („strix-halo") pflegt, der Ring-Buffer-Fixes und eine TOP-K-Optimierung zusammenführt. Ein weiterer ROCm-Bug verursacht extrem langsame Graph-Updates; ein entsprechender Fix-PR (#11069 im rocm-systems-Repository) ist eingereicht, aber noch nicht gelandet – bis dahin ist eine selbstkompilierte .so-Datei Pflicht. Für die Dispatch-Beschleunigung adaptierte ilintar Kaden-Schutts Redline-Bibliothek und implementierte PM4-basierte Low-Level-Dispatches in HIP Graphs, was bei dispatch-limitierten Modellen bis zu 20 % mehr Dekodiergeschwindigkeit bringt. Da Qwen3.8 27B auf Strix Halo jedoch bandbreitenlimitiert ist, fallen die Gewinne dort geringer aus. Das ROCmFP4-Format wurde explizit verworfen: RDNA 3.5 (gfx1151) besitzt keine native FP4-Hardware-Unterstützung, weshalb IQ4_XS sowohl bei Perplexität als auch bei Kernel-Performance überlegen ist. Die fertige Lösung inklusive quantisierter DFlash2-Drafts (ebenfalls IQ4_XS, Imatrix von Bartowski) ist als installierbares Linux-Paket auf pwilkin.github.io/strix-halo verfügbar.
- PM4-basierte HIP-Graph-Dispatches bringen bis zu 20 % Dekodier-Speedup bei dispatch-limitierten Modellen, wirken auf Strix Halo aber weniger stark, da Qwen3.8 27B dort bandbreitenlimitiert ist.
- ROCmFP4 wurde getestet und abgelehnt: RDNA 3.5 (gfx1151) hat keine native FP4-Hardware-Unterstützung; IQ4_XS schlägt es bei Perplexität und Kernel-Laufzeit.
- Nathans Strix-Halo-Vulkan-Fork wurde ebenfalls verglichen und erwies sich als langsamer als das optimierte ROCm-Setup (Details auf der Projekt-Website).
- Die IQ4_XS-Quantisierung des DFlash2-Draft-Modells liefert schnellere Dekodierung bei nahezu gleicher Akzeptanzrate gegenüber höher-bittigen Varianten.
- Der llama.cpp-PR #27311 (Unified Memory Access Fix) und der ROCm-PR #11069 (Graph-Update-Bug) sind die zwei zentralen offenen Upstream-Fixes, auf die das Setup wartet.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.