DeepSeek-V4-Flash-0731 auf AMD MI325X mit vLLM: Tool-Calling stark fehlerhaft
Der Reddit-Nutzer /u/Brunofcsampaio beschreibt ein reproduzierbares Fehlerbild beim Betrieb von DeepSeek-V4-Flash-0731 auf einer einzelnen AMD Instinct MI325X unter vLLM 0.26.0 mit ROCm-Image. Die Konfiguration folgt nach eigenen Angaben eng dem offiziellen vLLM/DeepSeek-MI325X-Rezept inklusive der spezifischen Parser-Flags `--tokenizer-mode deepseek_v4`, `--reasoning-parser deepseek_v4` und `--tool-call-parser deepseek_v4`. Als weitere Komponenten kommen Open WebUI, ein Hermes-Agent sowie DSpark Speculative Decoding im empfohlenen Greedy-Draft-Modus und ein FP8-KV-Cache zum Einsatz. Das Fehlerbild geht weit über gelegentliche Halluzinationen hinaus: Das Modell gibt strukturierte Tool-Calls als unlesbaren DSML-Plaintext aus, ruft nicht existente Tools auf und verliert grundlegenden Konversationskontext. Besonders auffällig ist eine Diskrepanz zwischen Reasoning-Schicht und tatsächlichem API-Call – das Modell benennt im Reasoning-Schritt korrekt ein Tool, ruft danach aber ein falsches oder nicht vorhandenes auf. Die Vermutung des Nutzers richtet sich auf einen Bug im Chat-Template, im DeepSeek-V4-spezifischen Encoding oder im ROCm-Backend von vLLM – also eine Integrationsebene unterhalb der eigentlichen Modellgewichte. Bisher fehlen im Thread Berichte anderer Nutzer, die dieselbe Kombination aus MI325X, vLLM 0.26.0 ROCm und DeepSeek-V4-Flash-0731 erfolgreich betreiben.
- Konfiguration setzt exakt drei DeepSeek-V4-spezifische Flags: --tokenizer-mode, --reasoning-parser und --tool-call-parser, jeweils mit Wert 'deepseek_v4'.
- DSpark Speculative Decoding läuft im empfohlenen Greedy-Draft-Modus zusammen mit FP8-KV-Cache — beides erhöht die Komplexität des Inference-Stacks.
- Konkret dokumentiertes Beispiel: Modell generierte ein PDF, meldete dem Nutzer aber unmittelbar danach, eine PNG-Datei erstellt zu haben.
- Das Modell identifiziert im Reasoning-Trace korrekte Tool-Namen, ruft anschließend jedoch abweichende oder nicht existente Tools auf — Reasoning und Execution sind entkoppelt.
- Nutzer schließt ein reines Modellqualitätsproblem aus und vermutet den Fehler auf Ebene Chat-Template-Parsing oder ROCm-spezifischer vLLM-Implementierung.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
DeepSeek-V4-Flash-0731 auf AMD MI325X mit vLLM: Tool-Calling stark fehlerhaft
Der Reddit-Nutzer /u/Brunofcsampaio beschreibt ein reproduzierbares Fehlerbild beim Betrieb von DeepSeek-V4-Flash-0731 auf einer einzelnen AMD Instinct MI325X unter vLLM 0.26.0 mit ROCm-Image. Die Konfiguration folgt nach eigenen Angaben eng dem offiziellen vLLM/DeepSeek-MI325X-Rezept inklusive der spezifischen Parser-Flags `--tokenizer-mode deepseek_v4`, `--reasoning-parser deepseek_v4` und `--tool-call-parser deepseek_v4`. Als weitere Komponenten kommen Open WebUI, ein Hermes-Agent sowie DSpark Speculative Decoding im empfohlenen Greedy-Draft-Modus und ein FP8-KV-Cache zum Einsatz. Das Fehlerbild geht weit über gelegentliche Halluzinationen hinaus: Das Modell gibt strukturierte Tool-Calls als unlesbaren DSML-Plaintext aus, ruft nicht existente Tools auf und verliert grundlegenden Konversationskontext. Besonders auffällig ist eine Diskrepanz zwischen Reasoning-Schicht und tatsächlichem API-Call – das Modell benennt im Reasoning-Schritt korrekt ein Tool, ruft danach aber ein falsches oder nicht vorhandenes auf. Die Vermutung des Nutzers richtet sich auf einen Bug im Chat-Template, im DeepSeek-V4-spezifischen Encoding oder im ROCm-Backend von vLLM – also eine Integrationsebene unterhalb der eigentlichen Modellgewichte. Bisher fehlen im Thread Berichte anderer Nutzer, die dieselbe Kombination aus MI325X, vLLM 0.26.0 ROCm und DeepSeek-V4-Flash-0731 erfolgreich betreiben.
- Konfiguration setzt exakt drei DeepSeek-V4-spezifische Flags: --tokenizer-mode, --reasoning-parser und --tool-call-parser, jeweils mit Wert 'deepseek_v4'.
- DSpark Speculative Decoding läuft im empfohlenen Greedy-Draft-Modus zusammen mit FP8-KV-Cache — beides erhöht die Komplexität des Inference-Stacks.
- Konkret dokumentiertes Beispiel: Modell generierte ein PDF, meldete dem Nutzer aber unmittelbar danach, eine PNG-Datei erstellt zu haben.
- Das Modell identifiziert im Reasoning-Trace korrekte Tool-Namen, ruft anschließend jedoch abweichende oder nicht existente Tools auf — Reasoning und Execution sind entkoppelt.
- Nutzer schließt ein reines Modellqualitätsproblem aus und vermutet den Fehler auf Ebene Chat-Template-Parsing oder ROCm-spezifischer vLLM-Implementierung.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.