Der Reddit-Nutzer /u/lmyslinski setzt auf einem Gigabyte B550-EAGLE-Mainboard mit einem AMD Ryzen 5 5600 und 64 GB RAM zwei AMD Radeon AI PRO R9700 ein – je mit 31,86 GB VRAM und je an einem PCIe-x16-Slot mit 32 GT/s. Beide GPUs werden vom System korrekt erkannt, einzelne Tensor-Operationen gelingen auf beiden Karten problemlos. Dennoch liefert die Single-GPU-Inferenz unter ROCm 7.2 und vLLM erschreckend niedrige Durchsatzraten: Qwen 0.6B schafft lediglich 30 Token/s, ein 27B-Modell in INT4-AWQ-Quantisierung sogar nur 5 Token/s – Werte, die deutlich unter dem erwartbaren Niveau liegen. Der Nutzer hat in den vergangenen zwei Wochen verschiedene Toolboxen (kyuz0/amd-r9700-vllm-toolboxes sowie JoergR75/automated-amd-rocm-7.2.4-pytorch-docker-vllm-cdna-rdna-deployment), Betriebssysteminstallationen, Treiberversionen sowie BIOS-Einstellungen wie IOMMU durchprobiert – ohne Erfolg. Tensor-Parallelismus mit tp=2 scheitert konsistent mit einem NCCL-Fehler („unhandled cuda error"), wodurch die Nutzung beider GPUs gemeinsam gänzlich blockiert ist. Das Problem wurde bereits als Issue #13 im kyuz0-Toolbox-Repository gemeldet und mit erweiterten Debug-Logs dokumentiert. Für das RDNA-Ökosystem ist der Fall symptomatisch: Während die Hardware-Erkennung und Low-Level-Operationen funktionieren, offenbaren höhere Software-Schichten wie vLLM auf ROCm noch erhebliche Stabilitäts- und Performance-Lücken im Vergleich zu CUDA-basierten Setups.