Custom llama.cpp-Build für AMD 7900xtx: bis 1600 tk/s auf Qwen 27B Q8_0
Der Reddit-Nutzer nasone32 hat einen spezialisierten llama.cpp-Fork namens „llama.cpp-RDNA3-7900xtx-opt" veröffentlicht, der gezielt auf AMD-Karten der RDNA3-Generation – konkret die RX 7900 XTX – zugeschnitten ist. Kernstück ist eine eigene HIP-AllReduce-Implementierung, die Peer-to-Peer-Kommunikation auch dann ermöglicht, wenn eine der Karten hinter dem Chipsatz auf einem PCIe-x4-Slot sitzt – ein Setup, das bei Standard-RCCL-Builds üblicherweise Probleme bereitet. Für Tensor-Parallel-Betrieb mit zwei Karten wird der Datenaustausch zwischen den GPUs optional auf Q8_0 komprimiert, um die begrenzte PCIe-Bandbreite zu schonen. Der Build integriert außerdem DFLASH2 im Tensor-Parallel-Modus sowie den MoE-Expert-Cache (PR #27861), der laut der beigefügten Patch-Tabelle die Decode-Geschwindigkeit um knapp 20 % steigert. Der Lazy-Load-Pfad via `--lazy-mode on-direct` (PR #28136) beschleunigt das Prompt-Processing im Test um rund 59 %. Der Autor betont ausdrücklich, dass kein Support oder weitere Updates geplant sind; das Ziel ist, die Patches in den mainline-llama.cpp-Upstream zu überführen. Getestet wurde ausschließlich unter Ubuntu 24 mit ROCm 7.14.
- Patch-Tabelle nennt 7 konkrete PRs/Changes: größter PP-Gewinn durch PR #28136 (Lazy-Load-Pfad) mit +58,88 %, größter TG-Gewinn durch PR #27861 (MoE Expert Cache) mit +19,95 %.
- Q8_K_XL wird ausdrücklich nicht empfohlen: Das 27B-Modell ist auf INT8-Berechnungen optimiert, Q8_K_XL ist dort langsamer als Q8_0.
- Kontextfenster: Mit 2 Karten soll ein 200k-Token-Kontext in f16 erreichbar sein; KV-Cache-Komprimierung auf Q8_0 möglich, aber mit Geschwindigkeitseinbuße.
- Bei 3 oder 4 Karten soll der Build mit Standard-RCCL funktionieren – der interne AllReduce-Pfad ist nur für 2-Karten-Setups getestet.
- Kernels sind teilweise als RDNA3.5 gelabelt, funktionieren laut Autor aber auch auf RDNA3 (7900 XTX) – upstream noch nicht integriert.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Custom llama.cpp-Build für AMD 7900xtx: bis 1600 tk/s auf Qwen 27B Q8_0
Der Reddit-Nutzer nasone32 hat einen spezialisierten llama.cpp-Fork namens „llama.cpp-RDNA3-7900xtx-opt" veröffentlicht, der gezielt auf AMD-Karten der RDNA3-Generation – konkret die RX 7900 XTX – zugeschnitten ist. Kernstück ist eine eigene HIP-AllReduce-Implementierung, die Peer-to-Peer-Kommunikation auch dann ermöglicht, wenn eine der Karten hinter dem Chipsatz auf einem PCIe-x4-Slot sitzt – ein Setup, das bei Standard-RCCL-Builds üblicherweise Probleme bereitet. Für Tensor-Parallel-Betrieb mit zwei Karten wird der Datenaustausch zwischen den GPUs optional auf Q8_0 komprimiert, um die begrenzte PCIe-Bandbreite zu schonen. Der Build integriert außerdem DFLASH2 im Tensor-Parallel-Modus sowie den MoE-Expert-Cache (PR #27861), der laut der beigefügten Patch-Tabelle die Decode-Geschwindigkeit um knapp 20 % steigert. Der Lazy-Load-Pfad via `--lazy-mode on-direct` (PR #28136) beschleunigt das Prompt-Processing im Test um rund 59 %. Der Autor betont ausdrücklich, dass kein Support oder weitere Updates geplant sind; das Ziel ist, die Patches in den mainline-llama.cpp-Upstream zu überführen. Getestet wurde ausschließlich unter Ubuntu 24 mit ROCm 7.14.
- Patch-Tabelle nennt 7 konkrete PRs/Changes: größter PP-Gewinn durch PR #28136 (Lazy-Load-Pfad) mit +58,88 %, größter TG-Gewinn durch PR #27861 (MoE Expert Cache) mit +19,95 %.
- Q8_K_XL wird ausdrücklich nicht empfohlen: Das 27B-Modell ist auf INT8-Berechnungen optimiert, Q8_K_XL ist dort langsamer als Q8_0.
- Kontextfenster: Mit 2 Karten soll ein 200k-Token-Kontext in f16 erreichbar sein; KV-Cache-Komprimierung auf Q8_0 möglich, aber mit Geschwindigkeitseinbuße.
- Bei 3 oder 4 Karten soll der Build mit Standard-RCCL funktionieren – der interne AllReduce-Pfad ist nur für 2-Karten-Setups getestet.
- Kernels sind teilweise als RDNA3.5 gelabelt, funktionieren laut Autor aber auch auf RDNA3 (7900 XTX) – upstream noch nicht integriert.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.