Der Reddit-Nutzer /u/Jorlen berichtet, wie er unter Kubuntu 24.04 einen llama.cpp-Inferenzserver mit zwei AMD-GPUs – einer R9700 AI PRO (32 GB VRAM, RDNA4) und einer RX 7800XT (16 GB VRAM, RDNA3) – zum Laufen gebracht hat. Zusammen stehen ihm damit 48 GB VRAM für lokale Modelle zur Verfügung. Der ursprüngliche Versuch mit ROCm scheiterte, da das AMD-Backend die Kombination aus RDNA4- und RDNA3-Architektur nicht unterstützte. Als Lösung kam das Vulkan-Backend von llama.cpp zum Einsatz, das über ein Docker-Image eingerichtet wurde. Das Setup läuft stabil genug für erste Prompts. Die Gesamtinvestition umfasste ein neues Netzteil für rund 300 USD, um die zweite GPU sicher betreiben zu können. Der Beitrag zeigt praxisnah, dass Vulkan eine realistische Alternative zu ROCm sein kann, wenn heterogene AMD-GPU-Kombinationen oder fehlende ROCm-Unterstützung ein Problem darstellen.