M3 Ultra + DGX Spark erreicht M5-Ultra-ähnliche Leistung bei llama.cpp
Ein LocalLLaMA-Nutzer hat DGX Spark mit Apple M3 Ultra kombiniert, um Prefill und Decode auf separaten Systemen auszuführen – basierend auf Benchmarks, die DGX Spark mit 4× Matmul-Performance des M3 Ultra auf Augenhöhe mit der kommenden M5 Ultra positionieren. Tests mit llama.cpp zeigen konsistente Speedups: Qwen 35B erreicht 2198 t/s auf Spark (1,4× vs. Mac), Qwen 27B 778 t/s (2,3×), Minimax M2.7 763 t/s (2,1×) und Mistral 128B 241 t/s (3,4×). Ein kritischer praktischer Fund: Das Deaktivieren von mmap=0 in llama.cpp verkürzt Modell-Ladezeiten dramatisch (von Minuten auf ~20 Sekunden) und verbessert auch Prefill-Speed. Die Kombination positioniert sich preislich und leistungsmäßig zwischen M5 Max und M5 Ultra, bietet zusätzlich CUDA-Fähigkeit, kostet aber unter 10.000 USD – deutlich weniger als eine einzelne M5 Ultra.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
M3 Ultra + DGX Spark erreicht M5-Ultra-ähnliche Leistung bei llama.cpp
Ein LocalLLaMA-Nutzer hat DGX Spark mit Apple M3 Ultra kombiniert, um Prefill und Decode auf separaten Systemen auszuführen – basierend auf Benchmarks, die DGX Spark mit 4× Matmul-Performance des M3 Ultra auf Augenhöhe mit der kommenden M5 Ultra positionieren. Tests mit llama.cpp zeigen konsistente Speedups: Qwen 35B erreicht 2198 t/s auf Spark (1,4× vs. Mac), Qwen 27B 778 t/s (2,3×), Minimax M2.7 763 t/s (2,1×) und Mistral 128B 241 t/s (3,4×). Ein kritischer praktischer Fund: Das Deaktivieren von mmap=0 in llama.cpp verkürzt Modell-Ladezeiten dramatisch (von Minuten auf ~20 Sekunden) und verbessert auch Prefill-Speed. Die Kombination positioniert sich preislich und leistungsmäßig zwischen M5 Max und M5 Ultra, bietet zusätzlich CUDA-Fähigkeit, kostet aber unter 10.000 USD – deutlich weniger als eine einzelne M5 Ultra.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.