Mac Pro „Trash Can" läuft mit Vulkan-Treibern als lokale LLM-Maschine
Ein Reddit-Nutzer berichtet, wie sein 2016 für knapp £10.000 (heute ~£14.000) gekaufter Apple Mac Pro der „Trash Can"-Generation nach Jahren des Kubernetes-Betriebs eine zweite Karriere als lokale LLM-Workstation erlebt. Der Schlüssel: Die eingebauten AMD D700-GPUs basieren auf der alten Southern-Islands-Architektur und werden von ROCm nicht unterstützt – sind aber nun über den Vulkan-Pfad in llama.cpp nutzbar, ermöglicht durch neue Linux-Treiber und einen neueren Kernel. Mit 12 GB kombiniertem VRAM lassen sich Q4-Modelle bis ~9B Parameter flüssig betreiben. Im Test erreichte Qwen 3.5 9B Q4 MTP 11 Token/s bei 70k Kontext, Qwen 2.5 Coder Q4 sogar 22 Token/s. Bemerkenswert ist die subjektive Qualitätsbewertung: Der Nutzer sieht Qwen 3.5 bei Planungsaufgaben für eine komplexe C#/.NET-10-Applikation klar vor Claude Sonnet 4.6 – das Modell habe eigenständig Dokumentation recherchiert, während Sonnet Schwierigkeiten hatte. Der Beitrag illustriert, wie Vulkan als universeller GPU-Backend ältere Hardware reaktiviert, die vom Haupt-Ökosystem abgehängt wurde.
- AMD D700 (Southern Islands) wird von ROCm nicht unterstützt, funktioniert aber über llama.cpps Vulkan-Backend
- 12 GB VRAM (zwei D700-GPUs), 64 GB RAM, 24 logische CPU-Kerne
- Qwen 3.5 9B Q4 MTP: 11 t/s bei 70k Kontext; Qwen 2.5 Coder Q4: 22 t/s bei 70k Kontext
- Nutzer bewertet Qwen 3.5 bei C#/.NET-10-Planung mit NuGet-Paketen als deutlich besser als Claude Sonnet 4.6
- Ursprünglicher Kaufpreis 2016: ~£10.000, Inflationsbereinigt ~£14.000 heute
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Mac Pro „Trash Can" läuft mit Vulkan-Treibern als lokale LLM-Maschine
Ein Reddit-Nutzer berichtet, wie sein 2016 für knapp £10.000 (heute ~£14.000) gekaufter Apple Mac Pro der „Trash Can"-Generation nach Jahren des Kubernetes-Betriebs eine zweite Karriere als lokale LLM-Workstation erlebt. Der Schlüssel: Die eingebauten AMD D700-GPUs basieren auf der alten Southern-Islands-Architektur und werden von ROCm nicht unterstützt – sind aber nun über den Vulkan-Pfad in llama.cpp nutzbar, ermöglicht durch neue Linux-Treiber und einen neueren Kernel. Mit 12 GB kombiniertem VRAM lassen sich Q4-Modelle bis ~9B Parameter flüssig betreiben. Im Test erreichte Qwen 3.5 9B Q4 MTP 11 Token/s bei 70k Kontext, Qwen 2.5 Coder Q4 sogar 22 Token/s. Bemerkenswert ist die subjektive Qualitätsbewertung: Der Nutzer sieht Qwen 3.5 bei Planungsaufgaben für eine komplexe C#/.NET-10-Applikation klar vor Claude Sonnet 4.6 – das Modell habe eigenständig Dokumentation recherchiert, während Sonnet Schwierigkeiten hatte. Der Beitrag illustriert, wie Vulkan als universeller GPU-Backend ältere Hardware reaktiviert, die vom Haupt-Ökosystem abgehängt wurde.
- AMD D700 (Southern Islands) wird von ROCm nicht unterstützt, funktioniert aber über llama.cpps Vulkan-Backend
- 12 GB VRAM (zwei D700-GPUs), 64 GB RAM, 24 logische CPU-Kerne
- Qwen 3.5 9B Q4 MTP: 11 t/s bei 70k Kontext; Qwen 2.5 Coder Q4: 22 t/s bei 70k Kontext
- Nutzer bewertet Qwen 3.5 bei C#/.NET-10-Planung mit NuGet-Paketen als deutlich besser als Claude Sonnet 4.6
- Ursprünglicher Kaufpreis 2016: ~£10.000, Inflationsbereinigt ~£14.000 heute
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.