OpenClaw zeigt 0 Cached Tokens mit oMLX – während Hermes Cache korrekt nutzt
Der Reddit-Nutzer juaps beschreibt ein konkretes Debugging-Problem: Er betreibt oMLX v0.3.8 auf einem Mac und serviert das Modell Qwen3.6-35B-A3B-RotorQuant-MLX-4bit über eine Tailscale-Verbindung an OpenClaw, das in Docker auf einem NAS läuft. Während Hermes WebUI und der Hermes Agent auf demselben oMLX-Server eine Cache-Effizienz von ~93 % erreichen, zeigt oMLX für alle OpenClaw-Anfragen durchgehend „Cached Tokens: 0" und „Cache Efficiency: 0.0 %" – obwohl im Filesystem bereits über 16 GB Cache-Dateien vorliegen. Direkte wiederholte Anfragen an /v1/chat/completions bestätigen, dass oMLX-Cache grundsätzlich funktioniert: Bei Request 2 und 3 werden 61.440 von 63.020 Prompt-Tokens aus dem Cache bedient. Der Nutzer hat in seiner OpenClaw-Konfiguration bereits supportsPromptCacheKey: true, cacheRetention: "long" und contextPruning.mode: "cache-ttl" gesetzt. Als mögliche Ursache verweist er auf einen bekannten OpenClaw-Bug aus Version 2026.2.15, bei dem volatile IDs im System-Prompt das Caching für lokale Provider wie LM Studio, MLX oder llama-server unterbrochen hatten – sowie auf ein mlx-lm-Issue rund um Qwen3.5/Hybrid-SSM-Schichten und Tool-Rendering.
- oMLX v0.3.8 liefert bei direkten Wiederholungsanfragen bis zu 61.440 von 63.020 gecachten Tokens.
- Hermes WebUI erreicht auf demselben oMLX-Server ~93 % Cache-Effizienz mit demselben Modell.
- OpenClaw läuft in Docker auf einem NAS und verbindet sich via Tailscale mit dem Mac-Host (cerebro:8080/v1).
- Ein früherer OpenClaw-Bug (Version 2026.2.15) hatte Prompt-Caching für lokale Provider durch volatile IDs im System-Prompt gebrochen.
- mlx-lm-Issue beschreibt Cache-Probleme bei Qwen3.5 durch Hybrid/SSM-Layer, Thinking-Tokens und Tool-Rendering.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com13h
llama-server KV-Cache-Tuning für große Modelle auf Strix Halo
- MEINUNGreddit.com1w
llama.cpp: System-Prompt-Caching für schnellere Session-Starts
- MEINUNGreddit.com3w
LocalLLaMA: Hermes Agent mit llama.cpp auf 72 GB VRAM konfigurieren
- LAUNCHreddit.com2d
Speculative Cache Warming: KV-Cache vorladen während der Eingabe spart 10–20 s
OpenClaw zeigt 0 Cached Tokens mit oMLX – während Hermes Cache korrekt nutzt
Der Reddit-Nutzer juaps beschreibt ein konkretes Debugging-Problem: Er betreibt oMLX v0.3.8 auf einem Mac und serviert das Modell Qwen3.6-35B-A3B-RotorQuant-MLX-4bit über eine Tailscale-Verbindung an OpenClaw, das in Docker auf einem NAS läuft. Während Hermes WebUI und der Hermes Agent auf demselben oMLX-Server eine Cache-Effizienz von ~93 % erreichen, zeigt oMLX für alle OpenClaw-Anfragen durchgehend „Cached Tokens: 0" und „Cache Efficiency: 0.0 %" – obwohl im Filesystem bereits über 16 GB Cache-Dateien vorliegen. Direkte wiederholte Anfragen an /v1/chat/completions bestätigen, dass oMLX-Cache grundsätzlich funktioniert: Bei Request 2 und 3 werden 61.440 von 63.020 Prompt-Tokens aus dem Cache bedient. Der Nutzer hat in seiner OpenClaw-Konfiguration bereits supportsPromptCacheKey: true, cacheRetention: "long" und contextPruning.mode: "cache-ttl" gesetzt. Als mögliche Ursache verweist er auf einen bekannten OpenClaw-Bug aus Version 2026.2.15, bei dem volatile IDs im System-Prompt das Caching für lokale Provider wie LM Studio, MLX oder llama-server unterbrochen hatten – sowie auf ein mlx-lm-Issue rund um Qwen3.5/Hybrid-SSM-Schichten und Tool-Rendering.
- oMLX v0.3.8 liefert bei direkten Wiederholungsanfragen bis zu 61.440 von 63.020 gecachten Tokens.
- Hermes WebUI erreicht auf demselben oMLX-Server ~93 % Cache-Effizienz mit demselben Modell.
- OpenClaw läuft in Docker auf einem NAS und verbindet sich via Tailscale mit dem Mac-Host (cerebro:8080/v1).
- Ein früherer OpenClaw-Bug (Version 2026.2.15) hatte Prompt-Caching für lokale Provider durch volatile IDs im System-Prompt gebrochen.
- mlx-lm-Issue beschreibt Cache-Probleme bei Qwen3.5 durch Hybrid/SSM-Layer, Thinking-Tokens und Tool-Rendering.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com13h
llama-server KV-Cache-Tuning für große Modelle auf Strix Halo
- MEINUNGreddit.com1w
llama.cpp: System-Prompt-Caching für schnellere Session-Starts
- MEINUNGreddit.com3w
LocalLLaMA: Hermes Agent mit llama.cpp auf 72 GB VRAM konfigurieren
- LAUNCHreddit.com2d
Speculative Cache Warming: KV-Cache vorladen während der Eingabe spart 10–20 s