M3 Ultra + DGX Spark erreicht M5-Ultra-ähnliche Leistung bei llama.cpp
Ein LocalLLaMA-Nutzer hat DGX Spark mit Apple M3 Ultra kombiniert, um Prefill und Decode auf separaten Systemen auszuführen – basierend auf Benchmarks, die DGX Spark mit 4× Matmul-Performance des M3 Ultra auf Augenhöhe mit der kommenden M5 Ultra positionieren. Tests mit llama.cpp zeigen konsistente Speedups: Qwen 35B erreicht 2198 t/s auf Spark (1,4× vs. Mac), Qwen 27B 778 t/s (2,3×), Minimax M2.7 763 t/s (2,1×) und Mistral 128B 241 t/s (3,4×). Ein kritischer praktischer Fund: Das Deaktivieren von mmap=0 in llama.cpp verkürzt Modell-Ladezeiten dramatisch (von Minuten auf ~20 Sekunden) und verbessert auch Prefill-Speed. Die Kombination positioniert sich preislich und leistungsmäßig zwischen M5 Max und M5 Ultra, bietet zusätzlich CUDA-Fähigkeit, kostet aber unter 10.000 USD – deutlich weniger als eine einzelne M5 Ultra.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com1w
llama.cpp überholt MLX bei Prefill-Performance auf Apple M5
- BENCHMARKreddit.com2w
2× Speedup mit Strix Halo + R9700: Heterogenes GPU-Setup für Qwen3.5-122B
- MEINUNGreddit.com4d
Mac Mini M4 Pro vs. DGX Spark vs. M5 Studio: Upgrade-Entscheidung im Preisvergleich
- MEINUNGreddit.com2d
MLX vs. GGUF auf Mac: Vergleich von Inferenz-Formaten und Engines
M3 Ultra + DGX Spark erreicht M5-Ultra-ähnliche Leistung bei llama.cpp
Ein LocalLLaMA-Nutzer hat DGX Spark mit Apple M3 Ultra kombiniert, um Prefill und Decode auf separaten Systemen auszuführen – basierend auf Benchmarks, die DGX Spark mit 4× Matmul-Performance des M3 Ultra auf Augenhöhe mit der kommenden M5 Ultra positionieren. Tests mit llama.cpp zeigen konsistente Speedups: Qwen 35B erreicht 2198 t/s auf Spark (1,4× vs. Mac), Qwen 27B 778 t/s (2,3×), Minimax M2.7 763 t/s (2,1×) und Mistral 128B 241 t/s (3,4×). Ein kritischer praktischer Fund: Das Deaktivieren von mmap=0 in llama.cpp verkürzt Modell-Ladezeiten dramatisch (von Minuten auf ~20 Sekunden) und verbessert auch Prefill-Speed. Die Kombination positioniert sich preislich und leistungsmäßig zwischen M5 Max und M5 Ultra, bietet zusätzlich CUDA-Fähigkeit, kostet aber unter 10.000 USD – deutlich weniger als eine einzelne M5 Ultra.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com1w
llama.cpp überholt MLX bei Prefill-Performance auf Apple M5
- BENCHMARKreddit.com2w
2× Speedup mit Strix Halo + R9700: Heterogenes GPU-Setup für Qwen3.5-122B
- MEINUNGreddit.com4d
Mac Mini M4 Pro vs. DGX Spark vs. M5 Studio: Upgrade-Entscheidung im Preisvergleich
- MEINUNGreddit.com2d
MLX vs. GGUF auf Mac: Vergleich von Inferenz-Formaten und Engines