Vulkan-Backend im Multi-GPU-Setup: 10× langsamer als CUDA bei llama.cpp
Der Reddit-Nutzer u/whiteh4cker hat seinen bestehenden Budget-Inferenzserver schrittweise ausgebaut und dabei konkrete Performance-Daten aus zweistündigem Praxistest veröffentlicht. Das System basiert auf einem AMD Ryzen 5 1600X mit MSI X370 SLI Plus und 48 GB DDR4-RAM in einem modifizierten Zalman Z9 Plus Gehäuse – alles gebrauchte Hardware. Die erste RTX 3090 wurde vor über einem Jahr für 540 USD erworben; die jetzt hinzugefügte zweite kostet 610 USD, die Intel Arc A770 (16 GB) weitere 222 USD. Verbunden werden die Karten über einen PCIe-x1-auf-4×-USB-3.0-Riser. Der entscheidende Befund: Der Vulkan-Backend-Overhead in llama.cpp schlägt mit rund 5 GB pro 24-GB-Karte zu Buche – ein RTX 3090 belegt unter Vulkan 21,7 GB VRAM für das Modell allein, unter CUDA sind es nur 16 GB. Das Qwen-3.6-27b-Modell in der Q8_K_XL-Quantisierung läuft im reinen CUDA-Setup (2× 3090) mit 170k Kontext flüssig mit 30 Token/s; im Vulkan-Mischbetrieb (2× 3090 + A770, 50k Kontext) schrumpft die Geschwindigkeit auf 3 Token/s. Das Fazit des Autors ist eindeutig: Für Multi-GPU-Inferenz mit llama.cpp ist Vulkan derzeit unbrauchbar, sobald Karten verschiedener Hersteller kombiniert werden.
- Gesamtkosten der zwei neu hinzugefügten Komponenten: RTX 3090 für 610 USD + Arc A770 für 222 USD, beide gebraucht gekauft.
- Die 3090er werden im CUDA-Betrieb auf 275 Watt power-limitiert; Tensor Split funktioniert laut Autor sehr zuverlässig.
- Qwen 3.6 27b Q8_K_XL mit q8_0-KV-Cache läuft unter Vulkan nur bei 50k Kontext, da der Overhead kaum Platz für den KV-Cache lässt.
- Verbindung der zusätzlichen GPU erfolgt via PCIe-x1-auf-4×-USB-3.0-Riser – eine typische Budget-Lösung für Mining-Risers.
- Der Autor empfiehlt explizit Single-Vendor-Setups: AMD mit ROCm, Intel mit oneAPI oder Nvidia mit CUDA – kein Backend-Mix.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Vulkan-Backend im Multi-GPU-Setup: 10× langsamer als CUDA bei llama.cpp
Der Reddit-Nutzer u/whiteh4cker hat seinen bestehenden Budget-Inferenzserver schrittweise ausgebaut und dabei konkrete Performance-Daten aus zweistündigem Praxistest veröffentlicht. Das System basiert auf einem AMD Ryzen 5 1600X mit MSI X370 SLI Plus und 48 GB DDR4-RAM in einem modifizierten Zalman Z9 Plus Gehäuse – alles gebrauchte Hardware. Die erste RTX 3090 wurde vor über einem Jahr für 540 USD erworben; die jetzt hinzugefügte zweite kostet 610 USD, die Intel Arc A770 (16 GB) weitere 222 USD. Verbunden werden die Karten über einen PCIe-x1-auf-4×-USB-3.0-Riser. Der entscheidende Befund: Der Vulkan-Backend-Overhead in llama.cpp schlägt mit rund 5 GB pro 24-GB-Karte zu Buche – ein RTX 3090 belegt unter Vulkan 21,7 GB VRAM für das Modell allein, unter CUDA sind es nur 16 GB. Das Qwen-3.6-27b-Modell in der Q8_K_XL-Quantisierung läuft im reinen CUDA-Setup (2× 3090) mit 170k Kontext flüssig mit 30 Token/s; im Vulkan-Mischbetrieb (2× 3090 + A770, 50k Kontext) schrumpft die Geschwindigkeit auf 3 Token/s. Das Fazit des Autors ist eindeutig: Für Multi-GPU-Inferenz mit llama.cpp ist Vulkan derzeit unbrauchbar, sobald Karten verschiedener Hersteller kombiniert werden.
- Gesamtkosten der zwei neu hinzugefügten Komponenten: RTX 3090 für 610 USD + Arc A770 für 222 USD, beide gebraucht gekauft.
- Die 3090er werden im CUDA-Betrieb auf 275 Watt power-limitiert; Tensor Split funktioniert laut Autor sehr zuverlässig.
- Qwen 3.6 27b Q8_K_XL mit q8_0-KV-Cache läuft unter Vulkan nur bei 50k Kontext, da der Overhead kaum Platz für den KV-Cache lässt.
- Verbindung der zusätzlichen GPU erfolgt via PCIe-x1-auf-4×-USB-3.0-Riser – eine typische Budget-Lösung für Mining-Risers.
- Der Autor empfiehlt explizit Single-Vendor-Setups: AMD mit ROCm, Intel mit oneAPI oder Nvidia mit CUDA – kein Backend-Mix.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.