Quad AMD R9700 AI Pro mit vLLM-Radiance erreicht 17.636 Prefill-Tokens/s
Der Reddit-Nutzer /u/im_EDEN betreibt ein ungewöhnliches Quad-GPU-Setup auf Basis von vier AMD R9700 AI Pro-Karten, montiert auf einem Gigabyte MZ32-AR0 (Rev 1.0) Mainboard mit einem AMD EPYC 7282-Prozessor. Bemerkenswert ist, dass eine der vier GPUs lediglich über PCIe 4×8 angebunden ist, während die übrigen drei die volle PCIe 4×16-Anbindung nutzen – ein Kompromiss, der offenbar kaum Auswirkungen auf die Gesamtleistung hat. Ausgeführt wird das Modell NousResearch Hermes auf Basis von Qwen 3.8 27B in FP8-Quantisierung mit einem Kontextfenster von 262k Tokens. Der entscheidende Faktor für die hohe Performance ist der Wechsel vom offiziellen vLLM-Fork zum Derivat vLLM-Radiance, das auf AMD-Hardware deutlich bessere Ergebnisse liefert. Der Prefill-Spitzenwert von 17.636 Tokens/s entstand in einem Mehragenten-Szenario, bei dem zwei Agenten-Profile parallel arbeiteten – eines erstellte einen yt-dlp-Download/Konvertierungs-Workflow, das andere auditierte weitere Agenten. Der beste gemessene Token-Generierungs-Durchsatz lag bei 106 Tokens/s, begleitet von einer MTP-4-Akzeptanzrate von 80 %. Offiziell unterstützt vLLM-Radiance nur Dual-GPU-Setups, doch im geschilderten Setup laufen alle vier Karten laut nvtop durchgehend bei 100 % Auslastung zuverlässig.
- Mainboard: Gigabyte MZ32-AR0 (Rev 1.0) mit AMD EPYC 7282 als Host-CPU
- PCIe-Anbindung asymmetrisch: drei GPUs mit 4×16, eine GPU nur mit 4×8 angebunden
- MTP-4-Akzeptanzrate von 80 % beim besten TG-Lauf – Speculative Decoding trägt maßgeblich zur Geschwindigkeit bei
- Der Prefill-Peak entstand durch zwei parallele Agenten-Profile (yt-dlp-Workflow-Erstellung + Agenten-Auditing)
- nvtop bestätigt 100 % GPU-Auslastung aller vier Karten trotz offiziell nur unterstützter Dual-GPU-Konfiguration
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Quad AMD R9700 AI Pro mit vLLM-Radiance erreicht 17.636 Prefill-Tokens/s
Der Reddit-Nutzer /u/im_EDEN betreibt ein ungewöhnliches Quad-GPU-Setup auf Basis von vier AMD R9700 AI Pro-Karten, montiert auf einem Gigabyte MZ32-AR0 (Rev 1.0) Mainboard mit einem AMD EPYC 7282-Prozessor. Bemerkenswert ist, dass eine der vier GPUs lediglich über PCIe 4×8 angebunden ist, während die übrigen drei die volle PCIe 4×16-Anbindung nutzen – ein Kompromiss, der offenbar kaum Auswirkungen auf die Gesamtleistung hat. Ausgeführt wird das Modell NousResearch Hermes auf Basis von Qwen 3.8 27B in FP8-Quantisierung mit einem Kontextfenster von 262k Tokens. Der entscheidende Faktor für die hohe Performance ist der Wechsel vom offiziellen vLLM-Fork zum Derivat vLLM-Radiance, das auf AMD-Hardware deutlich bessere Ergebnisse liefert. Der Prefill-Spitzenwert von 17.636 Tokens/s entstand in einem Mehragenten-Szenario, bei dem zwei Agenten-Profile parallel arbeiteten – eines erstellte einen yt-dlp-Download/Konvertierungs-Workflow, das andere auditierte weitere Agenten. Der beste gemessene Token-Generierungs-Durchsatz lag bei 106 Tokens/s, begleitet von einer MTP-4-Akzeptanzrate von 80 %. Offiziell unterstützt vLLM-Radiance nur Dual-GPU-Setups, doch im geschilderten Setup laufen alle vier Karten laut nvtop durchgehend bei 100 % Auslastung zuverlässig.
- Mainboard: Gigabyte MZ32-AR0 (Rev 1.0) mit AMD EPYC 7282 als Host-CPU
- PCIe-Anbindung asymmetrisch: drei GPUs mit 4×16, eine GPU nur mit 4×8 angebunden
- MTP-4-Akzeptanzrate von 80 % beim besten TG-Lauf – Speculative Decoding trägt maßgeblich zur Geschwindigkeit bei
- Der Prefill-Peak entstand durch zwei parallele Agenten-Profile (yt-dlp-Workflow-Erstellung + Agenten-Auditing)
- nvtop bestätigt 100 % GPU-Auslastung aller vier Karten trotz offiziell nur unterstützter Dual-GPU-Konfiguration
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.