Der Reddit-Nutzer /u/AdSafe4047 betreibt bereits einen Server mit einer RTX Pro 6000 und einer RTX 5090 und plant, diesen um vier bis fünf weitere Karten zu erweitern, um die Gesamt-VRAM-Kapazität deutlich zu erhöhen. Im Fokus stehen dabei AMD- und Intel-GPUs, die im Verhältnis VRAM-zu-Preis attraktiver erscheinen als weitere NVIDIA-Karten. Die Frage richtet sich an die r/LocalLLaMA-Community, die praktische Erfahrungen mit Nicht-NVIDIA-Hardware für LLM-Inferenz gesammelt hat. Konkret relevant sind hier AMDs ROCm-Stack sowie Intels oneAPI- und XPU-Infrastruktur, die beide als Alternative zu NVIDIA CUDA positioniert werden. ROCm unterstützt eine wachsende Zahl von AMD-Karten, gilt in der Praxis aber als weniger ausgereift – insbesondere bei Multi-GPU-Setups und Framework-Kompatibilität. Intel-GPUs der Arc- und Gaudi-Linie bieten zum Teil großen VRAM, sind jedoch in der lokalen LLM-Community noch weniger verbreitet, was Treiber- und Softwareprobleme schwerer einzuschätzen macht. Die Diskussion spiegelt eine breitere Debatte in der Community wider: VRAM-Menge allein entscheidet nicht über die Praxistauglichkeit, da Inferenz-Frameworks wie llama.cpp, vLLM oder Ollama unterschiedlich gut mit Nicht-CUDA-Backends harmonieren.