LocalLLaMA-Nutzer plant Desktop-Rig mit 96 GB VRAM für lokale 400B-Modelle
Der Reddit-Nutzer pmttyji plant ein leistungsstarkes Desktop-System für lokale LLM-Inferenz, nachdem Server-Alternativen wie EPYC- oder Threadripper-Plattformen wegen der aktuell hohen ECC-RAM- und Mainboard-Preise ausscheiden. Das geplante Setup basiert auf dem AMD Ryzen 9 9950X3D, dem ASUS ProArt X870E-Creator WIFI und zwei AMD Radeon PRO W7800 mit je 48 GB VRAM – zusammen 96 GB VRAM. Dazu kommen 128 GB DDR5-RAM (5600 MT/s), eine 4-TB-SSD, eine 20-TB-HDD sowie ein 2000–2400-Watt-Netzteil. Die zentrale Frage des Posts: Lässt sich in diesem Consumer-Setup ein dritter GPU-Slot stabil betreiben? Als zukünftige Erweiterung ist entweder eine weitere W7800 oder eine NVIDIA-GPU mit 48–96 GB VRAM angedacht, was den Gesamt-VRAM auf bis zu 192 GB heben und das Ausführen von Modellen bis 400B Parameter ermöglichen soll. Zusätzlich plant der Nutzer, den RAM auf 256 GB aufzustocken. Consumer-Mainboards wie das X870E sind für mehr als zwei Hochleistungs-GPUs konstruktionsbedingt nur eingeschränkt ausgelegt, weshalb die Community-Diskussion über Stabilität und PCIe-Bandbreite im Vordergrund steht.
- Zwei AMD Radeon PRO W7800 (je 48 GB VRAM) ergeben 96 GB VRAM gesamt.
- Mainboard ASUS ProArt X870E-Creator WIFI soll einen dritten GPU-Slot ermöglichen.
- PSU-Planung: 2000–2400 W für Multi-GPU-Betrieb.
- Ziel: Mit 144–192 GB VRAM künftig Modelle bis 400B Parameter lokal ausführen.
- Server-Alternativen (EPYC, Threadripper) wurden wegen hoher ECC-RAM- und CPU-Preise verworfen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
LocalLLaMA-Nutzer plant Desktop-Rig mit 96 GB VRAM für lokale 400B-Modelle
Der Reddit-Nutzer pmttyji plant ein leistungsstarkes Desktop-System für lokale LLM-Inferenz, nachdem Server-Alternativen wie EPYC- oder Threadripper-Plattformen wegen der aktuell hohen ECC-RAM- und Mainboard-Preise ausscheiden. Das geplante Setup basiert auf dem AMD Ryzen 9 9950X3D, dem ASUS ProArt X870E-Creator WIFI und zwei AMD Radeon PRO W7800 mit je 48 GB VRAM – zusammen 96 GB VRAM. Dazu kommen 128 GB DDR5-RAM (5600 MT/s), eine 4-TB-SSD, eine 20-TB-HDD sowie ein 2000–2400-Watt-Netzteil. Die zentrale Frage des Posts: Lässt sich in diesem Consumer-Setup ein dritter GPU-Slot stabil betreiben? Als zukünftige Erweiterung ist entweder eine weitere W7800 oder eine NVIDIA-GPU mit 48–96 GB VRAM angedacht, was den Gesamt-VRAM auf bis zu 192 GB heben und das Ausführen von Modellen bis 400B Parameter ermöglichen soll. Zusätzlich plant der Nutzer, den RAM auf 256 GB aufzustocken. Consumer-Mainboards wie das X870E sind für mehr als zwei Hochleistungs-GPUs konstruktionsbedingt nur eingeschränkt ausgelegt, weshalb die Community-Diskussion über Stabilität und PCIe-Bandbreite im Vordergrund steht.
- Zwei AMD Radeon PRO W7800 (je 48 GB VRAM) ergeben 96 GB VRAM gesamt.
- Mainboard ASUS ProArt X870E-Creator WIFI soll einen dritten GPU-Slot ermöglichen.
- PSU-Planung: 2000–2400 W für Multi-GPU-Betrieb.
- Ziel: Mit 144–192 GB VRAM künftig Modelle bis 400B Parameter lokal ausführen.
- Server-Alternativen (EPYC, Threadripper) wurden wegen hoher ECC-RAM- und CPU-Preise verworfen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.