Codex optimiert DeepSeek V4 Flash 8-bit MLX: 1,6× Prefill, 3× Decode-Speed
Warum es zählt
Das 8-bit-Affine-MoE-Modell lief bisher auf langsamen generischen Pfaden statt nativen Metal-Kerneln — die Patches schalten diese direkt ein. Wer DeepSeek V4 lokal auf Apple Silicon betreibt, kann mit diesen oMLX-Änderungen ohne Modell-Tausch etwa dreifache Decode-Geschwindigkeit erreichen.
— Lumeric Redaktion
oMLX DeepSeek V4 Flash 8-bit Throughput · Spitzenwert
7.31%
Decode – vorher
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Codex optimiert DeepSeek V4 Flash 8-bit MLX: 1,6× Prefill, 3× Decode-Speed
Warum es zählt
Das 8-bit-Affine-MoE-Modell lief bisher auf langsamen generischen Pfaden statt nativen Metal-Kerneln — die Patches schalten diese direkt ein. Wer DeepSeek V4 lokal auf Apple Silicon betreibt, kann mit diesen oMLX-Änderungen ohne Modell-Tausch etwa dreifache Decode-Geschwindigkeit erreichen.
— Lumeric Redaktion
oMLX DeepSeek V4 Flash 8-bit Throughput · Spitzenwert
7.31%
Decode – vorher
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.