Nanbeige4.3-33B Q4 auf M5 Max: mlx-lm, llama.cpp und Kapitsa im Vergleich
CompaniesOpenAI
Warum es zählt
Kapitsa mit KFlash-Spekulativdekodierung erzielt beim Decode durchgehend die höchsten Token-Raten (bis 34,9 t/s) und den niedrigsten Speicherverbrauch bei langen Kontexten (28,1 GB bei 29,5K), was für Multi-Turn-Agenten auf Apple-Silicon relevant ist. Das Modell selbst ist wegen ineffizientem KV-Cache (26 GB bei 128K) für lange Kontexte wenig attraktiv.
— Lumeric Redaktion
Decode Speed @ 512 Tokens – Nanbeige4.3-33B Q4 (M5 Max) · Spitzenwert
28.8%
mlx-lm
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Nanbeige4.3-33B Q4 auf M5 Max: mlx-lm, llama.cpp und Kapitsa im Vergleich
CompaniesOpenAI
Warum es zählt
Kapitsa mit KFlash-Spekulativdekodierung erzielt beim Decode durchgehend die höchsten Token-Raten (bis 34,9 t/s) und den niedrigsten Speicherverbrauch bei langen Kontexten (28,1 GB bei 29,5K), was für Multi-Turn-Agenten auf Apple-Silicon relevant ist. Das Modell selbst ist wegen ineffizientem KV-Cache (26 GB bei 128K) für lange Kontexte wenig attraktiv.
— Lumeric Redaktion
Decode Speed @ 512 Tokens – Nanbeige4.3-33B Q4 (M5 Max) · Spitzenwert
28.8%
mlx-lm
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.