Claude CLI 2.1.154 bricht vLLM-Kompatibilität – Ein-Zeilen-Patch verfügbar
Claude CLI ab Version 2.1.154 sendet API-Nachrichten mit den neuen Rollen „ctx", „msg" und „system", die vermutlich im Zuge des neu eingeführten „Workflows"-Features hinzugekommen sind. vLLMs Anthropic-kompatibler Endpunkt akzeptiert in `AnthropicMessage` bislang nur die Rollen „user" und „assistant" als Literal-Typen – alle anderen Rollen führen zu einem Validierungsfehler und machen den lokalen Betrieb unmöglich. Reddit-Nutzer Vicar_of_Wibbly hat einen Ein-Zeilen-Patch in `vllm/entrypoints/anthropic/protocol.py` veröffentlicht, der die fehlenden Rollen im Literal-Typ ergänzt. Der Patch wurde mit MiniMax-M2.7 auf vLLM getestet und ermöglicht dort wieder die Nutzung von Claude-CLI-Workflows. Ein offizieller Fix seitens des vLLM-Projekts steht noch aus.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHsimonwillison.net1w
llm-anthropic 0.28 bringt Claude Fable 5.1 und Standard-Reasoning-Traces
- LAUNCHsimonwillison.net3w
LLM 0.32.1 behebt Abhängigkeitsfehler durch httpx-Drop in OpenAI-Bibliothek
- LAUNCHsimonwillison.net3w
llm-anthropic 0.27 bringt Kompatibilität mit anthropic Python Library v1.0.0
- LAUNCHstatus.claude.com1w
Claude-Ausfall behoben: Mehrere Modelle von Fehlerwelle betroffen
Claude CLI 2.1.154 bricht vLLM-Kompatibilität – Ein-Zeilen-Patch verfügbar
Claude CLI ab Version 2.1.154 sendet API-Nachrichten mit den neuen Rollen „ctx", „msg" und „system", die vermutlich im Zuge des neu eingeführten „Workflows"-Features hinzugekommen sind. vLLMs Anthropic-kompatibler Endpunkt akzeptiert in `AnthropicMessage` bislang nur die Rollen „user" und „assistant" als Literal-Typen – alle anderen Rollen führen zu einem Validierungsfehler und machen den lokalen Betrieb unmöglich. Reddit-Nutzer Vicar_of_Wibbly hat einen Ein-Zeilen-Patch in `vllm/entrypoints/anthropic/protocol.py` veröffentlicht, der die fehlenden Rollen im Literal-Typ ergänzt. Der Patch wurde mit MiniMax-M2.7 auf vLLM getestet und ermöglicht dort wieder die Nutzung von Claude-CLI-Workflows. Ein offizieller Fix seitens des vLLM-Projekts steht noch aus.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHsimonwillison.net1w
llm-anthropic 0.28 bringt Claude Fable 5.1 und Standard-Reasoning-Traces
- LAUNCHsimonwillison.net3w
LLM 0.32.1 behebt Abhängigkeitsfehler durch httpx-Drop in OpenAI-Bibliothek
- LAUNCHsimonwillison.net3w
llm-anthropic 0.27 bringt Kompatibilität mit anthropic Python Library v1.0.0
- LAUNCHstatus.claude.com1w
Claude-Ausfall behoben: Mehrere Modelle von Fehlerwelle betroffen