MCP-Setup ermöglicht lokale LLMs als Sub-Agenten in Claude Code
Der Reddit-Nutzer CodeSlave9000 veröffentlichte das Open-Source-Projekt „localagents" auf GitHub, nachdem er täglich bis zu dreimal an die Token-Grenze seiner Claude-Max-Subscription gestoßen war. Das MCP-Setup fungiert als Brücke zwischen Claude Code und einem lokal laufenden Sprachmodell: Gut spezifizierte Coding-Tasks werden per Prompt-Befehl – konkret „Use local agent for…" – an das lokale Modell delegiert, ohne die laufende Session verlassen zu müssen. Der Autor setzt dabei auf Qwen3.8-27B im GGUF-Format (Quantisierung UD-Q4_K_XL via unsloth), betrieben mit llama-server aus dem llama.cpp-Projekt. Als zweite Inferenz-Backend-Option ist vLLM vorgesehen, wurde aber nach eigener Aussage kaum getestet; llama.cpp gilt als der stabilere Pfad. Das Setup erfordert erhebliche Kontextgröße und ausreichend Cache-RAM – im veröffentlichten Launch-Befehl sind beispielsweise 16 GB RAM-Cache konfiguriert, Batch-Size 8192 und zwei parallele Slots. Speculative Decoding wird über eine Kombination aus Draft-MTP und Ngram-Mod mit spezifischen Parametern (n-match 24, n-min 24, n-max 86) aktiviert, um die Inferenzgeschwindigkeit zu erhöhen. Die Ersteinrichtung des MCP-Servers empfiehlt der Autor mit Claude selbst durchzuführen, da das Projekt ausdrücklich ohne Support oder Garantien bereitgestellt wird.
- Projekt-Repository: github.com/ccebelenski/localagents – keine offizielle Unterstützung, kein Support-Versprechen.
- llama-server-Start nutzt Speculative Decoding via --spec-type draft-mtp,ngram-mod mit --spec-draft-n-max 2 und spezifischen Ngram-Parametern.
- KV-Cache wird mit q8_0-Quantisierung für Key- und Value-Matrizen betrieben; --cache-ram 16384 (16 GB) und --parallel 2 sind gesetzt.
- Die Parameter --metrics und --slots sind laut Autor quasi verpflichtend für den stabilen Betrieb des MCP-Setups.
- Reasoning-Modus ist aktiviert (--reasoning on --reasoning-preserve) mit medium effort via Chat-Template-Kwargs.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com3w
Community-Diskussion: Beste lokale AI-Harness für Coding und Agenten
- MEINUNGtowardsdatascience.com1w
10+ parallele Claude Code Sessions ohne leistungsstarken Rechner betreiben
- LAUNCHreddit.com0mo
Local Coding Agent: Hybrid-Setup für kleine Modelle auf Consumer-GPUs
- MEINUNGreddit.com1w
Community diskutiert Rollen-Aufteilung für Multi-Agent-Coding mit Qwen3.6
MCP-Setup ermöglicht lokale LLMs als Sub-Agenten in Claude Code
Der Reddit-Nutzer CodeSlave9000 veröffentlichte das Open-Source-Projekt „localagents" auf GitHub, nachdem er täglich bis zu dreimal an die Token-Grenze seiner Claude-Max-Subscription gestoßen war. Das MCP-Setup fungiert als Brücke zwischen Claude Code und einem lokal laufenden Sprachmodell: Gut spezifizierte Coding-Tasks werden per Prompt-Befehl – konkret „Use local agent for…" – an das lokale Modell delegiert, ohne die laufende Session verlassen zu müssen. Der Autor setzt dabei auf Qwen3.8-27B im GGUF-Format (Quantisierung UD-Q4_K_XL via unsloth), betrieben mit llama-server aus dem llama.cpp-Projekt. Als zweite Inferenz-Backend-Option ist vLLM vorgesehen, wurde aber nach eigener Aussage kaum getestet; llama.cpp gilt als der stabilere Pfad. Das Setup erfordert erhebliche Kontextgröße und ausreichend Cache-RAM – im veröffentlichten Launch-Befehl sind beispielsweise 16 GB RAM-Cache konfiguriert, Batch-Size 8192 und zwei parallele Slots. Speculative Decoding wird über eine Kombination aus Draft-MTP und Ngram-Mod mit spezifischen Parametern (n-match 24, n-min 24, n-max 86) aktiviert, um die Inferenzgeschwindigkeit zu erhöhen. Die Ersteinrichtung des MCP-Servers empfiehlt der Autor mit Claude selbst durchzuführen, da das Projekt ausdrücklich ohne Support oder Garantien bereitgestellt wird.
- Projekt-Repository: github.com/ccebelenski/localagents – keine offizielle Unterstützung, kein Support-Versprechen.
- llama-server-Start nutzt Speculative Decoding via --spec-type draft-mtp,ngram-mod mit --spec-draft-n-max 2 und spezifischen Ngram-Parametern.
- KV-Cache wird mit q8_0-Quantisierung für Key- und Value-Matrizen betrieben; --cache-ram 16384 (16 GB) und --parallel 2 sind gesetzt.
- Die Parameter --metrics und --slots sind laut Autor quasi verpflichtend für den stabilen Betrieb des MCP-Setups.
- Reasoning-Modus ist aktiviert (--reasoning on --reasoning-preserve) mit medium effort via Chat-Template-Kwargs.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com3w
Community-Diskussion: Beste lokale AI-Harness für Coding und Agenten
- MEINUNGtowardsdatascience.com1w
10+ parallele Claude Code Sessions ohne leistungsstarken Rechner betreiben
- LAUNCHreddit.com0mo
Local Coding Agent: Hybrid-Setup für kleine Modelle auf Consumer-GPUs
- MEINUNGreddit.com1w
Community diskutiert Rollen-Aufteilung für Multi-Agent-Coding mit Qwen3.6