2× Speedup mit Strix Halo + R9700: Heterogenes GPU-Setup für Qwen3.5-122B
Der Nutzer „SixVolts" betreibt ein Framework Desktop Board mit AMD Strix Halo SoC und 128 GB Unified Memory, in das er über einen PCIe-x4-4.0-Slot eine R9700 Pro AI-Karte eingebunden hat – montiert in einem Fractal-Design-Gehäuse mit separatem Netzteil und 12V-Stecker. Der Gesamtpreis des Setups beläuft sich laut Autor auf etwa 5.000 USD, vergleichbar mit einem NVIDIA DGX Spark, bietet aber rund 160 GB Gesamtspeicher (128 GB + VRAM der R9700). Der entscheidende Trick liegt in der sorgfältigen Aufteilung des Modells: Beim MoE-Modell Qwen3.5-122B-A10B werden die etwa 62 GB schweren „Sparse"-Expert-Schichten, die nur für einen Bruchteil der Token aktiv sind, im Strix-Halo-Unified-Memory belassen, während die rund 4 GB großen dichten Schichten sowie der KV-Cache und ein MTP-Drafter-Modell auf die R9700 ausgelagert werden. Über die enge x4-4.0-Verbindung müssen so nur etwa 12 KB Daten pro Token übertragen werden – ein Engpass, der Tensor-Parallelismus unmöglich machen würde, für dieses Layer-Routing-Verfahren aber ausreicht. SixVolts hat dafür Patches an llama.cpp entwickelt und auf GitHub veröffentlicht; das benötigte GGUF-Modell inklusive graftetem MTP-Kopf liegt auf HuggingFace. Zusätzlich optimierte er die Anzahl der Kernel-Launches, da ohne diese Anpassung die theoretische Speicherbandbreite beider Geräte nicht annähernd ausgeschöpft wurde. Als Epilog verweist der Autor auf ein zeitgleich erschienenes Video von Alex Ziskind über ein ähnliches Setup mit NVIDIA-GPU an einem Oculink-Dock – das er für unterlegen hält, weil dort zwei verschiedene GPU-Hersteller Vulkan als gemein
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
2× Speedup mit Strix Halo + R9700: Heterogenes GPU-Setup für Qwen3.5-122B
Der Nutzer „SixVolts" betreibt ein Framework Desktop Board mit AMD Strix Halo SoC und 128 GB Unified Memory, in das er über einen PCIe-x4-4.0-Slot eine R9700 Pro AI-Karte eingebunden hat – montiert in einem Fractal-Design-Gehäuse mit separatem Netzteil und 12V-Stecker. Der Gesamtpreis des Setups beläuft sich laut Autor auf etwa 5.000 USD, vergleichbar mit einem NVIDIA DGX Spark, bietet aber rund 160 GB Gesamtspeicher (128 GB + VRAM der R9700). Der entscheidende Trick liegt in der sorgfältigen Aufteilung des Modells: Beim MoE-Modell Qwen3.5-122B-A10B werden die etwa 62 GB schweren „Sparse"-Expert-Schichten, die nur für einen Bruchteil der Token aktiv sind, im Strix-Halo-Unified-Memory belassen, während die rund 4 GB großen dichten Schichten sowie der KV-Cache und ein MTP-Drafter-Modell auf die R9700 ausgelagert werden. Über die enge x4-4.0-Verbindung müssen so nur etwa 12 KB Daten pro Token übertragen werden – ein Engpass, der Tensor-Parallelismus unmöglich machen würde, für dieses Layer-Routing-Verfahren aber ausreicht. SixVolts hat dafür Patches an llama.cpp entwickelt und auf GitHub veröffentlicht; das benötigte GGUF-Modell inklusive graftetem MTP-Kopf liegt auf HuggingFace. Zusätzlich optimierte er die Anzahl der Kernel-Launches, da ohne diese Anpassung die theoretische Speicherbandbreite beider Geräte nicht annähernd ausgeschöpft wurde. Als Epilog verweist der Autor auf ein zeitgleich erschienenes Video von Alex Ziskind über ein ähnliches Setup mit NVIDIA-GPU an einem Oculink-Dock – das er für unterlegen hält, weil dort zwei verschiedene GPU-Hersteller Vulkan als gemein
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.