Der Beitrag stammt von Reddit-Nutzer /u/overand, der ein heterogenes GPU-Setup aus einer RTX 3090 (24 GB) und einer RTX 4070 Ti (12 GB) betreibt – zusammen 36 GB VRAM, nach dem Ausfall einer zweiten 3090 geschrumpft von 48 GB. Der Nutzer liebäugelt mit einer Intel Arc Pro B70, die weitere 16 GB VRAM beisteuern würde und das Gesamtkontingent auf 56 GB heben könnte – attraktiv für größere Modelle, die in 36 GB nicht mehr passen. Technisch stehen dabei mehrere Ansätze im Raum: Tensor-Split in llama.cpp über Vulkan (architekturübergreifend), eine Kombination aus CUDA und SYCL/OpenVINO, oder der llama-rpc-Ansatz, bei dem Teilmodelle per lokalem RPC-Aufruf auf separate Prozesse verteilt werden. Das Host-System läuft auf einem AMD Ryzen 5 3600 mit 4×32 GB DDR4, wobei ein RAM-Paar fehlerhafte Blöcke aufweist und per badram-Parameter im Bootloader umgangen wird – ein Hinweis auf einen pragmatisch zusammengebauten, nicht fehlerfreien Heimserver. Das Betriebssystem ist Ubuntu Server 24.04; der Nutzer wartet mit einem Upgrade auf 26.04, bis genug Community-Erfahrungsberichte für LLM- und Diffusion-Workloads vorliegen. Die Kernfrage der Community-Diskussion ist, wie stabil, performant und konfigurationsaufwändig solche Misch-Setups in der Praxis wirklich sind – belastbare Antworten aus der Praxis fehlen noch weitgehend.