Hexllama: GUI-Wrapper für llama.cpp mit Template-Manager und HF-Downloader
Hexllama ist ein von Nutzer /u/thecalmgreen entwickelter Desktop-Wrapper um llama-server (Teil von llama.cpp), der das Arbeiten mit lokalen Sprachmodellen vereinfachen soll. Kernfunktion ist ein Template-System: Einmal konfigurierte CLI-Flags wie Thread-Anzahl, Kontextgröße oder Batch-Einstellungen werden als Profil gespeichert und mit einem Klick ausgeführt. Ein integrierter Versionsmanager prüft automatisch das ggml-org-Repository auf neue llama.cpp-Releases, erlaubt direkte Downloads und schnelles Backend-Wechseln – nützlich, wenn neue Modellarchitekturen spezifische Builds voraussetzen. Ein eingebauter HuggingFace-Downloader ermöglicht die Suche und das Herunterladen von GGUF-Dateien direkt aus der App, mit Pause/Resume-Funktion und automatisch generiertem Basis-Template nach Abschluss. Zudem lassen sich mehrere Modelle gleichzeitig auf verschiedenen Ports betreiben, entweder mit der eingebauten llama.cpp-Chat-UI oder im stillen API-Only-Modus für Clients wie SillyTavern oder OpenWebUI. Das Projekt ist MIT-lizenziert und über vorkompilierte Releases sowie Quellcode auf andercoder.com/hexllama verfügbar.
- Template-Editor speichert CLI-Flags einmalig und startet Modelle danach per Klick
- Versionsmanager checkt ggml-org-Repo automatisch und erlaubt Backend-Wechsel ohne Terminal
- HuggingFace-Downloader mit Pause/Resume generiert nach Download automatisch ein Basis-Template
- Multi-Modell-Betrieb auf verschiedenen Ports gleichzeitig, API-Only-Modus für SillyTavern/OpenWebUI
- MIT-lizenziert, kostenlos, vorkompilierte Releases und Build-from-Source verfügbar
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Hexllama: GUI-Wrapper für llama.cpp mit Template-Manager und HF-Downloader
Hexllama ist ein von Nutzer /u/thecalmgreen entwickelter Desktop-Wrapper um llama-server (Teil von llama.cpp), der das Arbeiten mit lokalen Sprachmodellen vereinfachen soll. Kernfunktion ist ein Template-System: Einmal konfigurierte CLI-Flags wie Thread-Anzahl, Kontextgröße oder Batch-Einstellungen werden als Profil gespeichert und mit einem Klick ausgeführt. Ein integrierter Versionsmanager prüft automatisch das ggml-org-Repository auf neue llama.cpp-Releases, erlaubt direkte Downloads und schnelles Backend-Wechseln – nützlich, wenn neue Modellarchitekturen spezifische Builds voraussetzen. Ein eingebauter HuggingFace-Downloader ermöglicht die Suche und das Herunterladen von GGUF-Dateien direkt aus der App, mit Pause/Resume-Funktion und automatisch generiertem Basis-Template nach Abschluss. Zudem lassen sich mehrere Modelle gleichzeitig auf verschiedenen Ports betreiben, entweder mit der eingebauten llama.cpp-Chat-UI oder im stillen API-Only-Modus für Clients wie SillyTavern oder OpenWebUI. Das Projekt ist MIT-lizenziert und über vorkompilierte Releases sowie Quellcode auf andercoder.com/hexllama verfügbar.
- Template-Editor speichert CLI-Flags einmalig und startet Modelle danach per Klick
- Versionsmanager checkt ggml-org-Repo automatisch und erlaubt Backend-Wechsel ohne Terminal
- HuggingFace-Downloader mit Pause/Resume generiert nach Download automatisch ein Basis-Template
- Multi-Modell-Betrieb auf verschiedenen Ports gleichzeitig, API-Only-Modus für SillyTavern/OpenWebUI
- MIT-lizenziert, kostenlos, vorkompilierte Releases und Build-from-Source verfügbar
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.