Qwen3.6 mit llama-server: Leerzeichen in chat-template-kwargs brechen preserve_thinking
Nutzer CaptBrick berichtet auf r/LocalLLaMA von einem subtilen Konfigurationsproblem beim Einsatz von Qwen3.6 über llama-server v9102 (Build 7d442abf5) auf einer RTX 4090. Der Parameter preserve_thinking in der Datei models.ini wurde trotz expliziter Aktivierung nicht korrekt ausgewertet – als Ursache stellten sich überflüssige Leerzeichen innerhalb des JSON-Strings heraus. Die Schreibweise { "preserve_thinking": true } (mit Leerzeichen nach der öffnenden Klammer) wird vom Parser nicht erkannt, während {"preserve_thinking": true} (ohne Leerzeichen) funktioniert. Das Verhalten ist besonders tückisch, da keine Fehlermeldung ausgegeben wird und der Thinking-Modus lautlos deaktiviert bleibt. Als einfacher Smoke-Test empfiehlt der Autor, das Modell eine geheime Zahl zwischen 1 und 100 wählen zu lassen und beim Raten zu prüfen, ob das Reasoning konsistent bleibt – ändert sich die Zahl, ist der Thinking-Output defekt. Es handelt sich vermutlich um einen Parsing-Quirk im INI-zu-JSON-Prozessor von llama-server, nicht um einen Fehler in Qwen3.6 selbst.
- llama-server Version v9102, Commit 7d442abf5, getestet auf RTX 4090
- Fehlerhafte Config: chat-template-kwargs = { "preserve_thinking": true } (Leerzeichen nach {)
- Funktionierende Config: chat-template-kwargs = {"preserve_thinking": true} (kein Leerzeichen)
- Kein Fehler-Log: preserve_thinking wird lautlos ignoriert, wenn Parsing fehlschlägt
- Test: Modell soll geheime Zahl (1–100) halten – wechselnde Zahl zeigt defektes Reasoning an
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com2w
Nutzer fragt: Funktioniert preserve_thinking von llama.cpp mit OpenWebUI?
- MEINUNGreddit.com1w
Pi-Client drosselt Qwen 35B A3B Thinking-Verbosity ohne Modell-Reload
- MEINUNGreddit.com3w
Qwen 3.6: Unterschied zwischen General und Reasoning im Non-Thinking-Modus
- MEINUNGreddit.com1w
Continue.dev mit Qwen 3.6 und llama.cpp: Config-Probleme bei Tool Calls
Qwen3.6 mit llama-server: Leerzeichen in chat-template-kwargs brechen preserve_thinking
Nutzer CaptBrick berichtet auf r/LocalLLaMA von einem subtilen Konfigurationsproblem beim Einsatz von Qwen3.6 über llama-server v9102 (Build 7d442abf5) auf einer RTX 4090. Der Parameter preserve_thinking in der Datei models.ini wurde trotz expliziter Aktivierung nicht korrekt ausgewertet – als Ursache stellten sich überflüssige Leerzeichen innerhalb des JSON-Strings heraus. Die Schreibweise { "preserve_thinking": true } (mit Leerzeichen nach der öffnenden Klammer) wird vom Parser nicht erkannt, während {"preserve_thinking": true} (ohne Leerzeichen) funktioniert. Das Verhalten ist besonders tückisch, da keine Fehlermeldung ausgegeben wird und der Thinking-Modus lautlos deaktiviert bleibt. Als einfacher Smoke-Test empfiehlt der Autor, das Modell eine geheime Zahl zwischen 1 und 100 wählen zu lassen und beim Raten zu prüfen, ob das Reasoning konsistent bleibt – ändert sich die Zahl, ist der Thinking-Output defekt. Es handelt sich vermutlich um einen Parsing-Quirk im INI-zu-JSON-Prozessor von llama-server, nicht um einen Fehler in Qwen3.6 selbst.
- llama-server Version v9102, Commit 7d442abf5, getestet auf RTX 4090
- Fehlerhafte Config: chat-template-kwargs = { "preserve_thinking": true } (Leerzeichen nach {)
- Funktionierende Config: chat-template-kwargs = {"preserve_thinking": true} (kein Leerzeichen)
- Kein Fehler-Log: preserve_thinking wird lautlos ignoriert, wenn Parsing fehlschlägt
- Test: Modell soll geheime Zahl (1–100) halten – wechselnde Zahl zeigt defektes Reasoning an
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com2w
Nutzer fragt: Funktioniert preserve_thinking von llama.cpp mit OpenWebUI?
- MEINUNGreddit.com1w
Pi-Client drosselt Qwen 35B A3B Thinking-Verbosity ohne Modell-Reload
- MEINUNGreddit.com3w
Qwen 3.6: Unterschied zwischen General und Reasoning im Non-Thinking-Modus
- MEINUNGreddit.com1w
Continue.dev mit Qwen 3.6 und llama.cpp: Config-Probleme bei Tool Calls