Tool optimiert --override-tensor für llama.cpp auf Dual-GPU-Setups
Bei Dual-GPU-Setups in llama.cpp teilt `--split-mode layer` das Modell grob nach dem Verhältnis `--tensor-split` auf, etwa 0.6/0.4 bei 16 GB und 12 GB VRAM. Diese grobe Aufteilung lässt jedoch Kapazitätsreserven ungenutzt, da einzelne Tensor-Blöcke nicht optimal zwischen den GPUs verteilt werden. Genau hier setzt das Tool von Reddit-Nutzer ea_man an: Es ermittelt automatisch, welche konkreten Tensor-Blöcke (`blk`-Layer) auf welche GPU verschoben werden sollten, um den freien VRAM maximal für den Kontextpuffer auszuschöpfen. Der Prozess läuft in zwei Phasen ab: Zunächst generiert das Tool ein Skript mit allen notwendigen Probe-Läufen, die der Nutzer offline ausführt; anschließend wertet das Modell die Ergebnisse aus und liefert den finalen `--override-tensor`-Befehl. Das Beispiel mit `Qwen3.8-27B-UD-Q6_K_M.gguf` zeigt den Effekt deutlich: Mit 17 ermittelten Graph-Splits steigt der nutzbare Kontext von 110.848 auf 136.704 Tokens, mit 23 Swaps sogar auf 139.776 Tokens. Das Tool ist primär für Linux entwickelt und wurde unter ROCm und Vulkan getestet; CUDA-Kompatibilität wird erwartet, aber noch nicht bestätigt. Der Tipp, den KV-Cache via `--slot-save-path` zu sichern, erlaubt es, die laufende Sitzung nach dem Neustart fortzusetzen.
- Getestetes Modell: Qwen3.8-27B-UD-Q6_K_M.gguf – Kontextzuwachs von 110.848 auf 139.776 Tokens durch 23 Graph-Swaps.
- Das Tool generiert fertige Shell-Skripte mit allen Probe-Läufen; der Nutzer stoppt das Modell, führt die Skripte aus und startet neu.
- Beispiel-Output: `-ot '^blk\.43\.\w[\w.]*$=ROCm0,^blk\.40\.\w[\w.]*$=ROCm0'` – gezielte Tensor-Zuweisung auf GPU 0.
- Download als einzelnes Archiv unter store.piffa.net/lm/ot-tuner.tgz; das Tool läuft primär auf Linux.
- CUDA-Unterstützung ist laut Autor prinzipiell vorhanden, wurde jedoch noch nicht verifiziert.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Tool optimiert --override-tensor für llama.cpp auf Dual-GPU-Setups
Bei Dual-GPU-Setups in llama.cpp teilt `--split-mode layer` das Modell grob nach dem Verhältnis `--tensor-split` auf, etwa 0.6/0.4 bei 16 GB und 12 GB VRAM. Diese grobe Aufteilung lässt jedoch Kapazitätsreserven ungenutzt, da einzelne Tensor-Blöcke nicht optimal zwischen den GPUs verteilt werden. Genau hier setzt das Tool von Reddit-Nutzer ea_man an: Es ermittelt automatisch, welche konkreten Tensor-Blöcke (`blk`-Layer) auf welche GPU verschoben werden sollten, um den freien VRAM maximal für den Kontextpuffer auszuschöpfen. Der Prozess läuft in zwei Phasen ab: Zunächst generiert das Tool ein Skript mit allen notwendigen Probe-Läufen, die der Nutzer offline ausführt; anschließend wertet das Modell die Ergebnisse aus und liefert den finalen `--override-tensor`-Befehl. Das Beispiel mit `Qwen3.8-27B-UD-Q6_K_M.gguf` zeigt den Effekt deutlich: Mit 17 ermittelten Graph-Splits steigt der nutzbare Kontext von 110.848 auf 136.704 Tokens, mit 23 Swaps sogar auf 139.776 Tokens. Das Tool ist primär für Linux entwickelt und wurde unter ROCm und Vulkan getestet; CUDA-Kompatibilität wird erwartet, aber noch nicht bestätigt. Der Tipp, den KV-Cache via `--slot-save-path` zu sichern, erlaubt es, die laufende Sitzung nach dem Neustart fortzusetzen.
- Getestetes Modell: Qwen3.8-27B-UD-Q6_K_M.gguf – Kontextzuwachs von 110.848 auf 139.776 Tokens durch 23 Graph-Swaps.
- Das Tool generiert fertige Shell-Skripte mit allen Probe-Läufen; der Nutzer stoppt das Modell, führt die Skripte aus und startet neu.
- Beispiel-Output: `-ot '^blk\.43\.\w[\w.]*$=ROCm0,^blk\.40\.\w[\w.]*$=ROCm0'` – gezielte Tensor-Zuweisung auf GPU 0.
- Download als einzelnes Archiv unter store.piffa.net/lm/ot-tuner.tgz; das Tool läuft primär auf Linux.
- CUDA-Unterstützung ist laut Autor prinzipiell vorhanden, wurde jedoch noch nicht verifiziert.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.