Warpdrv: Open-Source Llama.cpp-Launcher für lokales LLM-Betrieb mit Dual-GPU-Setup
Warpdrv ist ein von Reddit-Nutzer xornullvoid entwickelter Open-Source-Launcher für llama.cpp, der das gleichzeitige Betreiben mehrerer LLM-Instanzen auf unterschiedlichen Backends erleichtert. Das zugrundeliegende Hardware-Setup besteht aus einem FEVM FAEX1 mit 128 GB Unified Memory (Strix Halo / AMD gfx1151) sowie einer RTX Pro 5000 Blackwell mit 48 GB VRAM, angebunden per OCuLink. Der Autor nutzt die App täglich, um Qwen3.6 27b auf CUDA und Qwen3.6 35b A3B parallel auf ROCm zu betreiben – hauptsächlich für Coding-Aufgaben via opencode. Warpdrv bietet neben der Grundfunktion, llama-server-Instanzen zu verwalten, einen Model-Router für opencode/claude-code, MCP.json-Integration mit Tool Calling im Chat sowie experimentelles KV-Cache-Checkpointing. Der Beitrag enthält außerdem eine ausführliche Bare-Metal-Anleitung für ROCm 7.2 auf Strix Halo unter Ubuntu 25.10 – inklusive notwendiger Kernel-Parameter, GRUB-Flags (amdgpu.gttsize=126976) und cmake-Build-Flags für gfx1151. Das Projekt befindet sich im frühen Alpha-Stadium; macOS wird mangels Hardware noch nicht offiziell unterstützt.
- Unterstützt parallele llama-server-Instanzen auf CUDA (RTX Pro 5000, 48 GB) und ROCm (Strix Halo, 124 GB GTT) gleichzeitig
- Integrierter Model-Router leitet Anfragen von opencode oder claude-code an das jeweils passende lokale Modell weiter
- KV-Cache-Checkpointing als experimentelles Feature bereits enthalten
- ROCm-Setup erfordert Kernel 6.18+, spezifische GRUB-Parameter und llama.cpp-Build mit -DAMDGPU_TARGETS=gfx1151 — HSA_OVERRIDE_GFX_VERSION darf nicht gesetzt werden
- Software-Stack: Ubuntu 25.10, llama.cpp aus Source für CUDA 13.2 + ROCm 7.2 + Vulkan, Storage via RAID-0 über mdadm
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Warpdrv: Open-Source Llama.cpp-Launcher für lokales LLM-Betrieb mit Dual-GPU-Setup
Warpdrv ist ein von Reddit-Nutzer xornullvoid entwickelter Open-Source-Launcher für llama.cpp, der das gleichzeitige Betreiben mehrerer LLM-Instanzen auf unterschiedlichen Backends erleichtert. Das zugrundeliegende Hardware-Setup besteht aus einem FEVM FAEX1 mit 128 GB Unified Memory (Strix Halo / AMD gfx1151) sowie einer RTX Pro 5000 Blackwell mit 48 GB VRAM, angebunden per OCuLink. Der Autor nutzt die App täglich, um Qwen3.6 27b auf CUDA und Qwen3.6 35b A3B parallel auf ROCm zu betreiben – hauptsächlich für Coding-Aufgaben via opencode. Warpdrv bietet neben der Grundfunktion, llama-server-Instanzen zu verwalten, einen Model-Router für opencode/claude-code, MCP.json-Integration mit Tool Calling im Chat sowie experimentelles KV-Cache-Checkpointing. Der Beitrag enthält außerdem eine ausführliche Bare-Metal-Anleitung für ROCm 7.2 auf Strix Halo unter Ubuntu 25.10 – inklusive notwendiger Kernel-Parameter, GRUB-Flags (amdgpu.gttsize=126976) und cmake-Build-Flags für gfx1151. Das Projekt befindet sich im frühen Alpha-Stadium; macOS wird mangels Hardware noch nicht offiziell unterstützt.
- Unterstützt parallele llama-server-Instanzen auf CUDA (RTX Pro 5000, 48 GB) und ROCm (Strix Halo, 124 GB GTT) gleichzeitig
- Integrierter Model-Router leitet Anfragen von opencode oder claude-code an das jeweils passende lokale Modell weiter
- KV-Cache-Checkpointing als experimentelles Feature bereits enthalten
- ROCm-Setup erfordert Kernel 6.18+, spezifische GRUB-Parameter und llama.cpp-Build mit -DAMDGPU_TARGETS=gfx1151 — HSA_OVERRIDE_GFX_VERSION darf nicht gesetzt werden
- Software-Stack: Ubuntu 25.10, llama.cpp aus Source für CUDA 13.2 + ROCm 7.2 + Vulkan, Storage via RAID-0 über mdadm
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.