MCP-Setup ermöglicht lokale LLMs als Sub-Agenten in Claude Code
Der Reddit-Nutzer CodeSlave9000 veröffentlichte das Open-Source-Projekt „localagents" auf GitHub, nachdem er täglich bis zu dreimal an die Token-Grenze seiner Claude-Max-Subscription gestoßen war. Das MCP-Setup fungiert als Brücke zwischen Claude Code und einem lokal laufenden Sprachmodell: Gut spezifizierte Coding-Tasks werden per Prompt-Befehl – konkret „Use local agent for…" – an das lokale Modell delegiert, ohne die laufende Session verlassen zu müssen. Der Autor setzt dabei auf Qwen3.8-27B im GGUF-Format (Quantisierung UD-Q4_K_XL via unsloth), betrieben mit llama-server aus dem llama.cpp-Projekt. Als zweite Inferenz-Backend-Option ist vLLM vorgesehen, wurde aber nach eigener Aussage kaum getestet; llama.cpp gilt als der stabilere Pfad. Das Setup erfordert erhebliche Kontextgröße und ausreichend Cache-RAM – im veröffentlichten Launch-Befehl sind beispielsweise 16 GB RAM-Cache konfiguriert, Batch-Size 8192 und zwei parallele Slots. Speculative Decoding wird über eine Kombination aus Draft-MTP und Ngram-Mod mit spezifischen Parametern (n-match 24, n-min 24, n-max 86) aktiviert, um die Inferenzgeschwindigkeit zu erhöhen. Die Ersteinrichtung des MCP-Servers empfiehlt der Autor mit Claude selbst durchzuführen, da das Projekt ausdrücklich ohne Support oder Garantien bereitgestellt wird.
- Projekt-Repository: github.com/ccebelenski/localagents – keine offizielle Unterstützung, kein Support-Versprechen.
- llama-server-Start nutzt Speculative Decoding via --spec-type draft-mtp,ngram-mod mit --spec-draft-n-max 2 und spezifischen Ngram-Parametern.
- KV-Cache wird mit q8_0-Quantisierung für Key- und Value-Matrizen betrieben; --cache-ram 16384 (16 GB) und --parallel 2 sind gesetzt.
- Die Parameter --metrics und --slots sind laut Autor quasi verpflichtend für den stabilen Betrieb des MCP-Setups.
- Reasoning-Modus ist aktiviert (--reasoning on --reasoning-preserve) mit medium effort via Chat-Template-Kwargs.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com1w
Qwen 3.6 27B: 10 praktische Anwendungsfälle für lokale LLM-Einsteiger
- MEINUNGreddit.com1w
Community-Diskussion: Optimales Frontier-Modell als Ergänzung zum lokalen LLM
- MEINUNGreddit.com3d
Community-Diskussion: Lokale LLMs als vollständiger Frontier-Ersatz?
- LAUNCHdwarfstar.sh3w
Redis-Erfinder launcht ds4: LLM lokal ausführen leicht gemacht
MCP-Setup ermöglicht lokale LLMs als Sub-Agenten in Claude Code
Der Reddit-Nutzer CodeSlave9000 veröffentlichte das Open-Source-Projekt „localagents" auf GitHub, nachdem er täglich bis zu dreimal an die Token-Grenze seiner Claude-Max-Subscription gestoßen war. Das MCP-Setup fungiert als Brücke zwischen Claude Code und einem lokal laufenden Sprachmodell: Gut spezifizierte Coding-Tasks werden per Prompt-Befehl – konkret „Use local agent for…" – an das lokale Modell delegiert, ohne die laufende Session verlassen zu müssen. Der Autor setzt dabei auf Qwen3.8-27B im GGUF-Format (Quantisierung UD-Q4_K_XL via unsloth), betrieben mit llama-server aus dem llama.cpp-Projekt. Als zweite Inferenz-Backend-Option ist vLLM vorgesehen, wurde aber nach eigener Aussage kaum getestet; llama.cpp gilt als der stabilere Pfad. Das Setup erfordert erhebliche Kontextgröße und ausreichend Cache-RAM – im veröffentlichten Launch-Befehl sind beispielsweise 16 GB RAM-Cache konfiguriert, Batch-Size 8192 und zwei parallele Slots. Speculative Decoding wird über eine Kombination aus Draft-MTP und Ngram-Mod mit spezifischen Parametern (n-match 24, n-min 24, n-max 86) aktiviert, um die Inferenzgeschwindigkeit zu erhöhen. Die Ersteinrichtung des MCP-Servers empfiehlt der Autor mit Claude selbst durchzuführen, da das Projekt ausdrücklich ohne Support oder Garantien bereitgestellt wird.
- Projekt-Repository: github.com/ccebelenski/localagents – keine offizielle Unterstützung, kein Support-Versprechen.
- llama-server-Start nutzt Speculative Decoding via --spec-type draft-mtp,ngram-mod mit --spec-draft-n-max 2 und spezifischen Ngram-Parametern.
- KV-Cache wird mit q8_0-Quantisierung für Key- und Value-Matrizen betrieben; --cache-ram 16384 (16 GB) und --parallel 2 sind gesetzt.
- Die Parameter --metrics und --slots sind laut Autor quasi verpflichtend für den stabilen Betrieb des MCP-Setups.
- Reasoning-Modus ist aktiviert (--reasoning on --reasoning-preserve) mit medium effort via Chat-Template-Kwargs.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com1w
Qwen 3.6 27B: 10 praktische Anwendungsfälle für lokale LLM-Einsteiger
- MEINUNGreddit.com1w
Community-Diskussion: Optimales Frontier-Modell als Ergänzung zum lokalen LLM
- MEINUNGreddit.com3d
Community-Diskussion: Lokale LLMs als vollständiger Frontier-Ersatz?
- LAUNCHdwarfstar.sh3w
Redis-Erfinder launcht ds4: LLM lokal ausführen leicht gemacht