Redstart: Self-hosted AI-Server-Stack auf llama.cpp sucht Beta-Tester
Redstart ist ein selbst entwickelter AI-Server-Stack, den ein Entwickler ohne formalen Softwareentwicklungs-Hintergrund – er arbeitete die meiste Zeit in der Sozialarbeit und bei Jugendschutzermittlungen (CPS) – über die letzten Monate aufgebaut hat. Kernstück ist Redstart-Nest, das auf TheToms llama-cpp-turboquant-Fork aufsetzt und einen OpenAI-kompatiblen Endpunkt bereitstellt, sodass bestehende Tools wie Kilo Code ohne Änderungen angebunden werden können. Nest übernimmt darüber hinaus Modell- und Provider-Management, Client-Discovery und -Authentifizierung sowie MCP-Tool-Integration mit granularer Tool-Permission-Enforcement. Als Satellite-Anwendungen existieren Redstart-Twig (ein Allzweck-Client mit lokalen Dateiverwaltungs-Tools), Yellowscript (ein VS-Code-Coding-Agent mit Workspace-Tools, Dateioperationen, Diagnose, Befehlsausführung und Git-basierten Checkpoints mit Revert-Funktion) und Blueprints (ein lokales SQL-Daten-Workbench, das auch ohne Modell standalone läuft). Für Hugging Face wurde eine eingeschränkte API-Anbindung integriert, die einfaches Browsen und Downloaden von Modellen ermöglicht – mit Filtern für Unsloth, Bartowski und ggml-org. Der Entwickler hat bekannte Sicherheitslücken und unfertige Bereiche transparent in einem eigenen Dokument (docs/security.md) im Repository festgehalten und lädt gezielt dazu ein, diese anzugreifen. Der Stack ist Electron-basiert, aktuell Windows-only und nicht signiert; Linux-Support ist geplant, aber noch ohne konkreten Zeitrahmen.
- Nest basiert konkret auf TheToms llama-cpp-turboquant-Fork, nicht auf Stock-llama.cpp.
- Die Hugging-Face-Integration unterstützt Filter für Unsloth, Bartowski und ggml-org beim Modell-Browsing und -Download.
- Yellowscript bietet Git-basierte Checkpoints mit Revert-Funktion und läuft bisher ausschließlich in der eigenen Dev-Umgebung des Autors.
- Blueprints (SQL-Workbench) funktioniert vollständig standalone ohne Modellverbindung und nutzt Nest nur optional.
- Bekannte Sicherheitslücken sind in docs/security.md im Abschnitt 'Known gaps' dokumentiert — der Autor bittet explizit darum, diese zu testen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com1w
Jenny: Quelloffene Electron-Desktop-App für lokale LLMs mit Tool-Calling und IDE
- LAUNCHreddit.com1mo
llama.cpp Windows Manager: GUI für lokale LLM-Verwaltung unter Windows
- LAUNCHreddit.com6d
Infercat: Lokale KI per P2P-Tunnel mit Freunden teilen
- LAUNCHreddit.com1w
Quartermaster: Open-Source Local-AI-Plattform mit Auto-Konfiguration für GGUF-Modelle
Redstart: Self-hosted AI-Server-Stack auf llama.cpp sucht Beta-Tester
Redstart ist ein selbst entwickelter AI-Server-Stack, den ein Entwickler ohne formalen Softwareentwicklungs-Hintergrund – er arbeitete die meiste Zeit in der Sozialarbeit und bei Jugendschutzermittlungen (CPS) – über die letzten Monate aufgebaut hat. Kernstück ist Redstart-Nest, das auf TheToms llama-cpp-turboquant-Fork aufsetzt und einen OpenAI-kompatiblen Endpunkt bereitstellt, sodass bestehende Tools wie Kilo Code ohne Änderungen angebunden werden können. Nest übernimmt darüber hinaus Modell- und Provider-Management, Client-Discovery und -Authentifizierung sowie MCP-Tool-Integration mit granularer Tool-Permission-Enforcement. Als Satellite-Anwendungen existieren Redstart-Twig (ein Allzweck-Client mit lokalen Dateiverwaltungs-Tools), Yellowscript (ein VS-Code-Coding-Agent mit Workspace-Tools, Dateioperationen, Diagnose, Befehlsausführung und Git-basierten Checkpoints mit Revert-Funktion) und Blueprints (ein lokales SQL-Daten-Workbench, das auch ohne Modell standalone läuft). Für Hugging Face wurde eine eingeschränkte API-Anbindung integriert, die einfaches Browsen und Downloaden von Modellen ermöglicht – mit Filtern für Unsloth, Bartowski und ggml-org. Der Entwickler hat bekannte Sicherheitslücken und unfertige Bereiche transparent in einem eigenen Dokument (docs/security.md) im Repository festgehalten und lädt gezielt dazu ein, diese anzugreifen. Der Stack ist Electron-basiert, aktuell Windows-only und nicht signiert; Linux-Support ist geplant, aber noch ohne konkreten Zeitrahmen.
- Nest basiert konkret auf TheToms llama-cpp-turboquant-Fork, nicht auf Stock-llama.cpp.
- Die Hugging-Face-Integration unterstützt Filter für Unsloth, Bartowski und ggml-org beim Modell-Browsing und -Download.
- Yellowscript bietet Git-basierte Checkpoints mit Revert-Funktion und läuft bisher ausschließlich in der eigenen Dev-Umgebung des Autors.
- Blueprints (SQL-Workbench) funktioniert vollständig standalone ohne Modellverbindung und nutzt Nest nur optional.
- Bekannte Sicherheitslücken sind in docs/security.md im Abschnitt 'Known gaps' dokumentiert — der Autor bittet explizit darum, diese zu testen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com1w
Jenny: Quelloffene Electron-Desktop-App für lokale LLMs mit Tool-Calling und IDE
- LAUNCHreddit.com1mo
llama.cpp Windows Manager: GUI für lokale LLM-Verwaltung unter Windows
- LAUNCHreddit.com6d
Infercat: Lokale KI per P2P-Tunnel mit Freunden teilen
- LAUNCHreddit.com1w
Quartermaster: Open-Source Local-AI-Plattform mit Auto-Konfiguration für GGUF-Modelle