Apple M5 Ultra 256 GB erreicht 68,8 tok/s mit GLM 5.3 Flash
Warum es zählt
68,8 tok/s auf Consumer-Hardware mit einem großen Flash-Modell zeigt das Potenzial des M5 Ultra für lokale Inferenz. Die oQ4e+MTP-Kombination unter oMLX 0.7.0 ist noch nicht ausoptimiert – weitere Geschwindigkeitssteigerungen sind laut Autor möglich.
— Lumeric Redaktion
68,8 tok/s
Inferenzgeschwindigkeit auf M5 Ultra 256 GB
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Apple M5 Ultra 256 GB erreicht 68,8 tok/s mit GLM 5.3 Flash
Warum es zählt
68,8 tok/s auf Consumer-Hardware mit einem großen Flash-Modell zeigt das Potenzial des M5 Ultra für lokale Inferenz. Die oQ4e+MTP-Kombination unter oMLX 0.7.0 ist noch nicht ausoptimiert – weitere Geschwindigkeitssteigerungen sind laut Autor möglich.
— Lumeric Redaktion
68,8 tok/s
Inferenzgeschwindigkeit auf M5 Ultra 256 GB
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.