50 % mehr Tokens/s durch selektives VRAM-Offloading heißer MoE-Experten
Der Reddit-Nutzer nbvehrfr hat einen Fork von llama.cpp veröffentlicht, der bei Mixture-of-Experts-Modellen (MoE) einen neuen Ansatz für das GPU-Offloading verfolgt: Statt ganze Transformer-Layer in den VRAM zu laden, werden gezielt nur jene Experten ins VRAM verschoben, die in einem bestimmten Workload besonders häufig aktiviert werden – die sogenannten „heißen" Experten. Das Testmodell war Qwen 3.8 Flash Next, das nicht vollständig in den verfügbaren VRAM passte. Die niedriglevelige Implementierung stammt laut Autor von einem Tool namens Opus; der Autor selbst beschreibt sich nicht als tief in den Code involviert, was er als Haupthindernis für einen möglichen Upstream-Merge in das offizielle llama.cpp-Repository nennt. Die Methode setzt voraus, dass die Expertenaktivierungsmuster im jeweiligen Anwendungsfall stabil genug sind – was bei Coding-Workloads offenbar der Fall ist, für andere Domänen jedoch nicht verifiziert wurde. Der Fork ist öffentlich auf GitHub verfügbar und stellt eine pragmatische Lösung für Consumer-Hardware-Nutzer dar, die große MoE-Modelle mit begrenztem VRAM betreiben wollen.
- Getestetes Modell: Qwen 3.8 Flash Next – ein MoE-Modell, das nicht vollständig in den VRAM des Autors passt.
- Die niedriglevelige Implementierung des Forks wurde laut nbvehrfr von einem Tool namens Opus durchgeführt, nicht manuell vom Autor selbst.
- Die Aktivierungsmuster der heißen Experten erwiesen sich bei Coding-, Refactoring- und Code-Review-Aufgaben als vergleichsweise stabil.
- Ein Upstream-Merge in das offizielle llama.cpp-Repo gilt laut Autor als unwahrscheinlich, da er die Implementierung nicht vollständig erklären kann.
- Der Fork ist unter github.com/timadinorth/llama.cpp/pull/1 öffentlich einsehbar.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
50 % mehr Tokens/s durch selektives VRAM-Offloading heißer MoE-Experten
Der Reddit-Nutzer nbvehrfr hat einen Fork von llama.cpp veröffentlicht, der bei Mixture-of-Experts-Modellen (MoE) einen neuen Ansatz für das GPU-Offloading verfolgt: Statt ganze Transformer-Layer in den VRAM zu laden, werden gezielt nur jene Experten ins VRAM verschoben, die in einem bestimmten Workload besonders häufig aktiviert werden – die sogenannten „heißen" Experten. Das Testmodell war Qwen 3.8 Flash Next, das nicht vollständig in den verfügbaren VRAM passte. Die niedriglevelige Implementierung stammt laut Autor von einem Tool namens Opus; der Autor selbst beschreibt sich nicht als tief in den Code involviert, was er als Haupthindernis für einen möglichen Upstream-Merge in das offizielle llama.cpp-Repository nennt. Die Methode setzt voraus, dass die Expertenaktivierungsmuster im jeweiligen Anwendungsfall stabil genug sind – was bei Coding-Workloads offenbar der Fall ist, für andere Domänen jedoch nicht verifiziert wurde. Der Fork ist öffentlich auf GitHub verfügbar und stellt eine pragmatische Lösung für Consumer-Hardware-Nutzer dar, die große MoE-Modelle mit begrenztem VRAM betreiben wollen.
- Getestetes Modell: Qwen 3.8 Flash Next – ein MoE-Modell, das nicht vollständig in den VRAM des Autors passt.
- Die niedriglevelige Implementierung des Forks wurde laut nbvehrfr von einem Tool namens Opus durchgeführt, nicht manuell vom Autor selbst.
- Die Aktivierungsmuster der heißen Experten erwiesen sich bei Coding-, Refactoring- und Code-Review-Aufgaben als vergleichsweise stabil.
- Ein Upstream-Merge in das offizielle llama.cpp-Repo gilt laut Autor als unwahrscheinlich, da er die Implementierung nicht vollständig erklären kann.
- Der Fork ist unter github.com/timadinorth/llama.cpp/pull/1 öffentlich einsehbar.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.