Qwen 35B A3B überzeugt im Agentic-Coding-Einsatz auf Consumer-Hardware
Der Reddit-Nutzer siegevjorn teilt Praxiserfahrungen mit Qwen 35B A3B im Einsatz als lokales Coding-Modell. Das Modell läuft in Q8_0-Quantisierung (Weights und KV-Cache) mit einem Kontextfenster von 262.144 Tokens auf einer Kombination aus RTX 4090 und RTX 5060 Ti über das llama.cpp-Backend. Als Frontend kommt Claude Code zum Einsatz, das auf localhost zeigt. Der Anwendungsfall liegt im Demo- und Datenanalyse-Bereich, nicht im Einsatz auf großen Codebasen. Im direkten Vergleich soll Qwen 35B A3B das deutlich größere Gemma4 26B übertreffen. Bemerkenswert ist die Beobachtung, dass das Modell im Agentic-Modus (mit Tool-Use und iterativen Schritten) besser abschneidet als im reinen Chat-Betrieb, wo die generierten Code-Ausgaben als „zu unhandlich" empfunden werden. Der Autor fragt abschließend, ob andere Nutzer Vergleiche mit Open-Source-Harnesses wie Pi oder opencode vorgenommen haben.
- Modell läuft in Q8_0-Quantisierung für Weights und KV-Cache auf 4090 + 5060 Ti
- Kontextfenster von 262.144 Tokens über llama.cpp-Backend konfiguriert
- Claude Code als Frontend, das auf lokalen Inference-Endpunkt zeigt
- Agentic-Modus liefert laut Nutzer bessere Code-Qualität als reiner Chat-Betrieb
- Vergleich mit Open-Source-Harnesses Pi und opencode als offene Frage im Post
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Qwen 35B A3B überzeugt im Agentic-Coding-Einsatz auf Consumer-Hardware
Der Reddit-Nutzer siegevjorn teilt Praxiserfahrungen mit Qwen 35B A3B im Einsatz als lokales Coding-Modell. Das Modell läuft in Q8_0-Quantisierung (Weights und KV-Cache) mit einem Kontextfenster von 262.144 Tokens auf einer Kombination aus RTX 4090 und RTX 5060 Ti über das llama.cpp-Backend. Als Frontend kommt Claude Code zum Einsatz, das auf localhost zeigt. Der Anwendungsfall liegt im Demo- und Datenanalyse-Bereich, nicht im Einsatz auf großen Codebasen. Im direkten Vergleich soll Qwen 35B A3B das deutlich größere Gemma4 26B übertreffen. Bemerkenswert ist die Beobachtung, dass das Modell im Agentic-Modus (mit Tool-Use und iterativen Schritten) besser abschneidet als im reinen Chat-Betrieb, wo die generierten Code-Ausgaben als „zu unhandlich" empfunden werden. Der Autor fragt abschließend, ob andere Nutzer Vergleiche mit Open-Source-Harnesses wie Pi oder opencode vorgenommen haben.
- Modell läuft in Q8_0-Quantisierung für Weights und KV-Cache auf 4090 + 5060 Ti
- Kontextfenster von 262.144 Tokens über llama.cpp-Backend konfiguriert
- Claude Code als Frontend, das auf lokalen Inference-Endpunkt zeigt
- Agentic-Modus liefert laut Nutzer bessere Code-Qualität als reiner Chat-Betrieb
- Vergleich mit Open-Source-Harnesses Pi und opencode als offene Frage im Post
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.