Claude CLI 2.1.154 bricht vLLM-Kompatibilität – Ein-Zeilen-Patch verfügbar
Claude CLI ab Version 2.1.154 sendet API-Nachrichten mit den neuen Rollen „ctx", „msg" und „system", die vermutlich im Zuge des neu eingeführten „Workflows"-Features hinzugekommen sind. vLLMs Anthropic-kompatibler Endpunkt akzeptiert in `AnthropicMessage` bislang nur die Rollen „user" und „assistant" als Literal-Typen – alle anderen Rollen führen zu einem Validierungsfehler und machen den lokalen Betrieb unmöglich. Reddit-Nutzer Vicar_of_Wibbly hat einen Ein-Zeilen-Patch in `vllm/entrypoints/anthropic/protocol.py` veröffentlicht, der die fehlenden Rollen im Literal-Typ ergänzt. Der Patch wurde mit MiniMax-M2.7 auf vLLM getestet und ermöglicht dort wieder die Nutzung von Claude-CLI-Workflows. Ein offizieller Fix seitens des vLLM-Projekts steht noch aus.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHsimonwillison.net1d
llm-anthropic 0.25.1 bringt Claude Opus 4.8 und flexibles Token-Limit
- FORSCHUNGreddit.com2d
Sicherheitslücke in Framework betrifft vLLM, MCP-Server und LLM-Tools
- LAUNCHreddit.com2w
Kritischer Vision-Template-Fix für Qwen3.5 in vLLM veröffentlicht
- LAUNCHreddit.com3w
vLLM merged TurboQuant-Fix für Qwen 3.5+
Claude CLI 2.1.154 bricht vLLM-Kompatibilität – Ein-Zeilen-Patch verfügbar
Claude CLI ab Version 2.1.154 sendet API-Nachrichten mit den neuen Rollen „ctx", „msg" und „system", die vermutlich im Zuge des neu eingeführten „Workflows"-Features hinzugekommen sind. vLLMs Anthropic-kompatibler Endpunkt akzeptiert in `AnthropicMessage` bislang nur die Rollen „user" und „assistant" als Literal-Typen – alle anderen Rollen führen zu einem Validierungsfehler und machen den lokalen Betrieb unmöglich. Reddit-Nutzer Vicar_of_Wibbly hat einen Ein-Zeilen-Patch in `vllm/entrypoints/anthropic/protocol.py` veröffentlicht, der die fehlenden Rollen im Literal-Typ ergänzt. Der Patch wurde mit MiniMax-M2.7 auf vLLM getestet und ermöglicht dort wieder die Nutzung von Claude-CLI-Workflows. Ein offizieller Fix seitens des vLLM-Projekts steht noch aus.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHsimonwillison.net1d
llm-anthropic 0.25.1 bringt Claude Opus 4.8 und flexibles Token-Limit
- FORSCHUNGreddit.com2d
Sicherheitslücke in Framework betrifft vLLM, MCP-Server und LLM-Tools
- LAUNCHreddit.com2w
Kritischer Vision-Template-Fix für Qwen3.5 in vLLM veröffentlicht
- LAUNCHreddit.com3w
vLLM merged TurboQuant-Fix für Qwen 3.5+