Qwen2 7B: Community sucht Proxy-Lösung für leakende tool_call-Tags
Das Problem betrifft Qwen2 7B beim Einsatz mit Tool-Calling: Die Tags <tool_call> und </tool_call> landen nicht immer im dafür vorgesehenen Kanal, sondern lecken in den regulären content- oder reasoning_content-Stream. Der Poster /u/Hot-Employ-3399 skizziert einen möglichen clientseitigen Fix: Beim Erkennen von <tool_call> im Stream wird das Streaming gestoppt, das Ende auf </tool_call> geprüft und anschließend ein synthetischer Tool-Call zurückgesendet oder ein Retry ausgelöst. Schwieriger wird es bei mehreren aufeinanderfolgenden Tool-Calls. Als Referenz wird das Hermes-Agent-Projekt von NousResearch genannt, das einen ähnlichen Flush-Mechanismus für GPT-kompatible Endpunkte implementiert hat (codex_responses_adapter.py, Zeile 1043). Das dort genutzte Muster ist bekannt, wurde für Qwen2 7B jedoch noch nicht als fertiger, öffentlich zugänglicher Proxy-Server bereitgestellt. Das Tool „qwencode" erholt sich laut Poster nach einem solchen Leak nicht selbstständig. Die Diskussion zielt darauf ab, eine netzwerkseitige Lösung zu finden, die diesen Fix zentral für alle Nutzer bereitstellt.
- Fehler tritt auf, wenn <tool_call>-Tags am Ende von content oder reasoning_content erscheinen statt im Tool-Kanal.
- Clientseitiger Fix-Ansatz: Stream bei <tool_call> stoppen, auf </tool_call> warten, dann gefälschten Tool-Call senden oder Retry auslösen.
- NousResearch Hermes-Agent implementiert einen ähnlichen Flush-Mechanismus für GPT (codex_responses_adapter.py, Z. 1043).
- qwencode kann nach einem solchen Leak nicht selbstständig wiederhergestellt werden.
- Es wird ein öffentlicher Proxy-Web-Server gesucht, der diesen Fix für Qwen2 7B zentral bereitstellt.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- GERÜCHTreddit.com2w
Qwen kostenloser Zugang offenbar eingeschränkt oder abgeschaltet
- MEINUNGreddit.com1d
Qwen 3.6 27B: Q4_K_M vs. Q6 bei agentischen Workloads im Vergleich
- MEINUNGreddit.com1w
MTP bei agentischen Pipelines: Netto-Nachteil bei Tool-Calls?
- MEINUNGreddit.com3w
Llama.cpp: Context-Kompression bei lokalen Agenten ohne Cache-Invalidierung gesucht
Qwen2 7B: Community sucht Proxy-Lösung für leakende tool_call-Tags
Das Problem betrifft Qwen2 7B beim Einsatz mit Tool-Calling: Die Tags <tool_call> und </tool_call> landen nicht immer im dafür vorgesehenen Kanal, sondern lecken in den regulären content- oder reasoning_content-Stream. Der Poster /u/Hot-Employ-3399 skizziert einen möglichen clientseitigen Fix: Beim Erkennen von <tool_call> im Stream wird das Streaming gestoppt, das Ende auf </tool_call> geprüft und anschließend ein synthetischer Tool-Call zurückgesendet oder ein Retry ausgelöst. Schwieriger wird es bei mehreren aufeinanderfolgenden Tool-Calls. Als Referenz wird das Hermes-Agent-Projekt von NousResearch genannt, das einen ähnlichen Flush-Mechanismus für GPT-kompatible Endpunkte implementiert hat (codex_responses_adapter.py, Zeile 1043). Das dort genutzte Muster ist bekannt, wurde für Qwen2 7B jedoch noch nicht als fertiger, öffentlich zugänglicher Proxy-Server bereitgestellt. Das Tool „qwencode" erholt sich laut Poster nach einem solchen Leak nicht selbstständig. Die Diskussion zielt darauf ab, eine netzwerkseitige Lösung zu finden, die diesen Fix zentral für alle Nutzer bereitstellt.
- Fehler tritt auf, wenn <tool_call>-Tags am Ende von content oder reasoning_content erscheinen statt im Tool-Kanal.
- Clientseitiger Fix-Ansatz: Stream bei <tool_call> stoppen, auf </tool_call> warten, dann gefälschten Tool-Call senden oder Retry auslösen.
- NousResearch Hermes-Agent implementiert einen ähnlichen Flush-Mechanismus für GPT (codex_responses_adapter.py, Z. 1043).
- qwencode kann nach einem solchen Leak nicht selbstständig wiederhergestellt werden.
- Es wird ein öffentlicher Proxy-Web-Server gesucht, der diesen Fix für Qwen2 7B zentral bereitstellt.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- GERÜCHTreddit.com2w
Qwen kostenloser Zugang offenbar eingeschränkt oder abgeschaltet
- MEINUNGreddit.com1d
Qwen 3.6 27B: Q4_K_M vs. Q6 bei agentischen Workloads im Vergleich
- MEINUNGreddit.com1w
MTP bei agentischen Pipelines: Netto-Nachteil bei Tool-Calls?
- MEINUNGreddit.com3w
Llama.cpp: Context-Kompression bei lokalen Agenten ohne Cache-Invalidierung gesucht