mlx-Chronos: Community-Benchmark-Leaderboard für lokale LLM-Engines auf Apple Silicon
mlx-Chronos ist ein von CS-Student /u/igor__004 entwickeltes Open-Source-CLI-Tool, das einen standardisierten Benchmark-Ablauf für lokale LLM-Inferenz-Engines auf Apple-Silicon-Macs definiert und ausführt. Unterstützt werden die vier Engines oMLX, Rapid-MLX, mlx-lm und Ollama (MLX-Backend). Das Tool misst Cold- und Cached-TTFT mit sauberer Methodik (eindeutige Prompts pro Trial, Cache-Priming, keine verschränkten Phasen), Durchsatz inklusive Standardabweichung sowie RAM-Verbrauch (RSS des Engine-Prozesses und System-RAM-Peak) per kontinuierlichem Sampling. Zusätzlich werden Thermalzustand und Hardware-Metadaten erfasst. Die Benchmark-Methodik ist in einer methodology.md im GitHub-Repository dokumentiert. Das Community-Leaderboard unter igurss.github.io/mlx-chronos ist derzeit noch dünn befüllt, da bisher nur Ergebnisse vom eigenen M2-8GB-System des Entwicklers vorliegen. Gesucht werden insbesondere Einsendungen von M3 Max, M4 und M4 Ultra. Installation erfolgt via pip install mlx-chronos.
- Vier unterstützte Engines: oMLX, Rapid-MLX, mlx-lm, Ollama (MLX-Backend)
- Misst Cold- und Cached-TTFT mit eindeutigen Prompts pro Trial und Cache-Priming
- Durchsatz-Statistiken: Mittelwert, Stddev, Min/Max über mehrere Wiederholungen
- RAM-Tracking: Engine-Prozess-RSS und System-RAM-Peak via kontinuierliches Sampling
- Leaderboard noch fast leer — Entwickler sucht Ergebnisse von M3 Max, M4 und M4 Ultra
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- BENCHMARKreddit.com1w
Hobbyist vergleicht Inference-Engines auf M1 Max 64 GB – rapid-mlx vorn
- LAUNCHreddit.com1w
Benchmark-Yourself: Menschen treten gegen Open-Source-LLMs an
- BENCHMARKreddit.com3w
MLX-Engine-Vergleich: oMLX führt bei Apple-Silicon-Inferenz
- LAUNCHreddit.com3d
LLM-Benchy: Open-Source-Tool für einheitliche LLM-Endpoint-Benchmarks
mlx-Chronos: Community-Benchmark-Leaderboard für lokale LLM-Engines auf Apple Silicon
mlx-Chronos ist ein von CS-Student /u/igor__004 entwickeltes Open-Source-CLI-Tool, das einen standardisierten Benchmark-Ablauf für lokale LLM-Inferenz-Engines auf Apple-Silicon-Macs definiert und ausführt. Unterstützt werden die vier Engines oMLX, Rapid-MLX, mlx-lm und Ollama (MLX-Backend). Das Tool misst Cold- und Cached-TTFT mit sauberer Methodik (eindeutige Prompts pro Trial, Cache-Priming, keine verschränkten Phasen), Durchsatz inklusive Standardabweichung sowie RAM-Verbrauch (RSS des Engine-Prozesses und System-RAM-Peak) per kontinuierlichem Sampling. Zusätzlich werden Thermalzustand und Hardware-Metadaten erfasst. Die Benchmark-Methodik ist in einer methodology.md im GitHub-Repository dokumentiert. Das Community-Leaderboard unter igurss.github.io/mlx-chronos ist derzeit noch dünn befüllt, da bisher nur Ergebnisse vom eigenen M2-8GB-System des Entwicklers vorliegen. Gesucht werden insbesondere Einsendungen von M3 Max, M4 und M4 Ultra. Installation erfolgt via pip install mlx-chronos.
- Vier unterstützte Engines: oMLX, Rapid-MLX, mlx-lm, Ollama (MLX-Backend)
- Misst Cold- und Cached-TTFT mit eindeutigen Prompts pro Trial und Cache-Priming
- Durchsatz-Statistiken: Mittelwert, Stddev, Min/Max über mehrere Wiederholungen
- RAM-Tracking: Engine-Prozess-RSS und System-RAM-Peak via kontinuierliches Sampling
- Leaderboard noch fast leer — Entwickler sucht Ergebnisse von M3 Max, M4 und M4 Ultra
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- BENCHMARKreddit.com1w
Hobbyist vergleicht Inference-Engines auf M1 Max 64 GB – rapid-mlx vorn
- LAUNCHreddit.com1w
Benchmark-Yourself: Menschen treten gegen Open-Source-LLMs an
- BENCHMARKreddit.com3w
MLX-Engine-Vergleich: oMLX führt bei Apple-Silicon-Inferenz
- LAUNCHreddit.com3d
LLM-Benchy: Open-Source-Tool für einheitliche LLM-Endpoint-Benchmarks