Llama Studio v0.2.0: WebUI für llama-server mit GPU-Splitting und Session-Speicherung
Llama Studio ist ein Open-Source-WebUI-Wrapper, der llama-server-Instanzen über eine Browser-Oberfläche verwaltet. Version 0.2.0 ersetzt die bisherige JSON-basierte Modellkonfiguration durch Shell-Skripte, die sich direkt von der CLI ausführen, mit Tools wie Unsloth kombinieren oder einfach teilen lassen – ohne die WebUI-Funktionalität einzuschränken. Neu hinzugekommen ist außerdem die Unterstützung für Tensor-Split über mehrere GPUs: Wird ein Tensor-Split erkannt, lässt sich die GPU-Aufteilung direkt in der UI festlegen und wird im Shell-Skript persistent gespeichert. Ein neuer Session-Store erlaubt es, das aktuelle Setup per Knopfdruck zu sichern und Modelle beim nächsten Start automatisch zu laden – besonders nützlich für headless-Setups wie den vom Entwickler erwähnten „frankenserver frank.local". Das Projekt ist frei verfügbar auf GitHub unter m94301/llama-studio.
- Shell-Skripte ersetzen JSON-Configs: portabel, CLI-kompatibel und mit Unsloth-Ausgaben kombinierbar.
- Tensor-Split-Erkennung ermöglicht GPU-Auswahl direkt in der WebUI, gespeichert im Skript/Config.
- Session-Store-Button sichert das aktuelle Setup; optionaler Autoload beim nächsten Start.
- Vollständige WebUI-Funktionalität bleibt erhalten – Shell-Kenntnisse sind nicht erforderlich.
- Projekt ist Free & Open Source, Community-Beiträge ausdrücklich erwünscht (github.com/m94301/llama-studio).
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com3w
Llama-Studio: WebUI für lokales llama-server-Management
- LAUNCHreddit.com3d
start-llama: Kommandozeilen-Launcher für llama-server mit flexibler Konfiguration
- LAUNCHreddit.com2w
llama.cpp Console: Windows-GUI für llama.cpp unter WSL/Ubuntu
- LAUNCHreddit.com5d
llama.cpp Server unterstützt Hot-Swap von Modellen in unter 30 Sekunden
Llama Studio v0.2.0: WebUI für llama-server mit GPU-Splitting und Session-Speicherung
Llama Studio ist ein Open-Source-WebUI-Wrapper, der llama-server-Instanzen über eine Browser-Oberfläche verwaltet. Version 0.2.0 ersetzt die bisherige JSON-basierte Modellkonfiguration durch Shell-Skripte, die sich direkt von der CLI ausführen, mit Tools wie Unsloth kombinieren oder einfach teilen lassen – ohne die WebUI-Funktionalität einzuschränken. Neu hinzugekommen ist außerdem die Unterstützung für Tensor-Split über mehrere GPUs: Wird ein Tensor-Split erkannt, lässt sich die GPU-Aufteilung direkt in der UI festlegen und wird im Shell-Skript persistent gespeichert. Ein neuer Session-Store erlaubt es, das aktuelle Setup per Knopfdruck zu sichern und Modelle beim nächsten Start automatisch zu laden – besonders nützlich für headless-Setups wie den vom Entwickler erwähnten „frankenserver frank.local". Das Projekt ist frei verfügbar auf GitHub unter m94301/llama-studio.
- Shell-Skripte ersetzen JSON-Configs: portabel, CLI-kompatibel und mit Unsloth-Ausgaben kombinierbar.
- Tensor-Split-Erkennung ermöglicht GPU-Auswahl direkt in der WebUI, gespeichert im Skript/Config.
- Session-Store-Button sichert das aktuelle Setup; optionaler Autoload beim nächsten Start.
- Vollständige WebUI-Funktionalität bleibt erhalten – Shell-Kenntnisse sind nicht erforderlich.
- Projekt ist Free & Open Source, Community-Beiträge ausdrücklich erwünscht (github.com/m94301/llama-studio).
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com3w
Llama-Studio: WebUI für lokales llama-server-Management
- LAUNCHreddit.com3d
start-llama: Kommandozeilen-Launcher für llama-server mit flexibler Konfiguration
- LAUNCHreddit.com2w
llama.cpp Console: Windows-GUI für llama.cpp unter WSL/Ubuntu
- LAUNCHreddit.com5d
llama.cpp Server unterstützt Hot-Swap von Modellen in unter 30 Sekunden