Qwen3.8-Flash-Next auf MLX-serve: 1M-Kontext mit 40–75 tok/s auf Apple M5 Max
Der Reddit-Nutzer /u/Beamsters, der sich als Co-Entwickler vorstellt, hat MLX-serve um nativen Support für das Modell Qwen3.8-Flash-Next erweitert und die Implementierung als Open-Source-Projekt auf GitHub veröffentlicht. Kernstück ist eine Mixed-Quantisierung: Dense-Layer werden mit 8 Bit, Expert-Layer mit 4 Bit quantisiert – ein Kompromiss, der laut Entwickler die Modellqualität trotz kompakter Speicheranforderungen hoch hält. Die Gewichte liegen auf Hugging Face unter dem Handle „ddalcu" bereit. Demonstriert wurde die 1M-Kontext-Fähigkeit in einem Video-Snapshot bei rund 760.000 Token, bei dem das Modell live das MLX-Serve-Monitor-Plugin für die Opencode2-App generierte. Der KV-Cache wird dabei mit 8 Bit quantisiert; der Prefix-Cache ist auf 10 GB konfiguriert. Konkret gibt der Entwickler auch Launch-Parameter vor: Context-Size 1.048.576, max. 64.000 neue Output-Token pro Request, ein Concurrency-Slot sowie das MTP-Flag. Das Projekt befindet sich nach eigener Aussage noch in einem frühen Stadium – der Entwickler bittet explizit um Bug-Reports, da nicht alle Use-Cases getestet werden konnten.
- Mixed-Quant-Schema: 8-bit für Dense-Layer, 4-bit für Expert-Layer — Gewichte auf HuggingFace unter ddalcu/Qwen3.8-Flash-Next-MLX-Serve-mixed-4-8bit.
- KV-Cache läuft mit 8-bit-Quantisierung; Prefix-Cache ist auf 10 GB RAM mit maximal 1 Eintrag konfiguriert.
- Demo-Video zeigt Echtzeit-Codegenerierung des Opencode2-MLX-Serve-Monitor-Plugins bei ~760k Token Kontext.
- Launch-Flag --mtp (Multi-Token Prediction) und --ssm-checkpoint-max 16 sind Teil der empfohlenen Startkonfiguration.
- Opencode2-Plugin-Repository ist separat auf GitHub unter beamivalice/opencode2-mlx-serve verfügbar.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Qwen3.8-Flash-Next auf MLX-serve: 1M-Kontext mit 40–75 tok/s auf Apple M5 Max
Der Reddit-Nutzer /u/Beamsters, der sich als Co-Entwickler vorstellt, hat MLX-serve um nativen Support für das Modell Qwen3.8-Flash-Next erweitert und die Implementierung als Open-Source-Projekt auf GitHub veröffentlicht. Kernstück ist eine Mixed-Quantisierung: Dense-Layer werden mit 8 Bit, Expert-Layer mit 4 Bit quantisiert – ein Kompromiss, der laut Entwickler die Modellqualität trotz kompakter Speicheranforderungen hoch hält. Die Gewichte liegen auf Hugging Face unter dem Handle „ddalcu" bereit. Demonstriert wurde die 1M-Kontext-Fähigkeit in einem Video-Snapshot bei rund 760.000 Token, bei dem das Modell live das MLX-Serve-Monitor-Plugin für die Opencode2-App generierte. Der KV-Cache wird dabei mit 8 Bit quantisiert; der Prefix-Cache ist auf 10 GB konfiguriert. Konkret gibt der Entwickler auch Launch-Parameter vor: Context-Size 1.048.576, max. 64.000 neue Output-Token pro Request, ein Concurrency-Slot sowie das MTP-Flag. Das Projekt befindet sich nach eigener Aussage noch in einem frühen Stadium – der Entwickler bittet explizit um Bug-Reports, da nicht alle Use-Cases getestet werden konnten.
- Mixed-Quant-Schema: 8-bit für Dense-Layer, 4-bit für Expert-Layer — Gewichte auf HuggingFace unter ddalcu/Qwen3.8-Flash-Next-MLX-Serve-mixed-4-8bit.
- KV-Cache läuft mit 8-bit-Quantisierung; Prefix-Cache ist auf 10 GB RAM mit maximal 1 Eintrag konfiguriert.
- Demo-Video zeigt Echtzeit-Codegenerierung des Opencode2-MLX-Serve-Monitor-Plugins bei ~760k Token Kontext.
- Launch-Flag --mtp (Multi-Token Prediction) und --ssm-checkpoint-max 16 sind Teil der empfohlenen Startkonfiguration.
- Opencode2-Plugin-Repository ist separat auf GitHub unter beamivalice/opencode2-mlx-serve verfügbar.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.