mistral.rs v0.8.2 erreicht bis zu 2,8× schnellere CUDA-Inferenz als llama.cpp
EricLBuehler veröffentlicht auf r/LocalLLaMA Version 0.8.2 seines Rust-basierten Inferenz-Frameworks mistral.rs mit dem Fokus auf CUDA-Durchsatz. In einem detaillierten Benchmark-Report auf GitHub werden Ergebnisse auf drei NVIDIA-GPU-Generationen präsentiert: GB10, H100 und B200. Als Testmodell dient Gemma 4 – sowohl in der Dense- als auch in der MoE-Variante. Die gemessene Beschleunigung gegenüber llama.cpp beträgt bis zu 2,8× und gilt konsistent über beide Quantisierungstypen eQ8_0 und Q4K. Alle Schritte zur Reproduktion der Ergebnisse sind im Release-Report dokumentiert. mistral.rs bietet zudem einen OpenAI-kompatiblen Server auf Port 1234 sowie eine Web-Chat-UI mit integrierten agentischen Funktionen, die per einfachem Installationsskript für Mac, Linux und Windows eingerichtet werden können. Der Autor begrüßt externe Reproduktionen, Kritik und weitere Benchmark-Vorschläge.
- Benchmarks gelten auf drei GPU-Architekturen: NVIDIA GB10, H100 und B200
- Getestete Modelle: Gemma 4 dense (google/gemma-4-E4B-it) und MoE-Variante
- Ergebnisse reproduzierbar über Quantisierungen eQ8_0 und Q4K
- OpenAI-kompatibler Server mit Web-Chat-UI und agentischen Features per CLI startbar
- Installation via Einzeiler-Skript für Mac/Linux (curl) und Windows (irm)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com5d
mistral.rs v0.9.0: bis zu 1,8× schnellerer CPU-Decode als llama.cpp
- MEINUNGreddit.com3d
llama.cpp vs. vLLM auf AMD MI50: Community-Diskussion zu Tensor-Parallel-Support
- MEINUNGreddit.com3w
llama.cpp: RTX 5090 schneller als H100 bei 31B-Modell-Inferenz
- MEINUNGreddit.com1w
Gemma 4 12B Q8 auf NVIDIA RTX 4000: Nur 10 t/s statt 70 t/s
mistral.rs v0.8.2 erreicht bis zu 2,8× schnellere CUDA-Inferenz als llama.cpp
EricLBuehler veröffentlicht auf r/LocalLLaMA Version 0.8.2 seines Rust-basierten Inferenz-Frameworks mistral.rs mit dem Fokus auf CUDA-Durchsatz. In einem detaillierten Benchmark-Report auf GitHub werden Ergebnisse auf drei NVIDIA-GPU-Generationen präsentiert: GB10, H100 und B200. Als Testmodell dient Gemma 4 – sowohl in der Dense- als auch in der MoE-Variante. Die gemessene Beschleunigung gegenüber llama.cpp beträgt bis zu 2,8× und gilt konsistent über beide Quantisierungstypen eQ8_0 und Q4K. Alle Schritte zur Reproduktion der Ergebnisse sind im Release-Report dokumentiert. mistral.rs bietet zudem einen OpenAI-kompatiblen Server auf Port 1234 sowie eine Web-Chat-UI mit integrierten agentischen Funktionen, die per einfachem Installationsskript für Mac, Linux und Windows eingerichtet werden können. Der Autor begrüßt externe Reproduktionen, Kritik und weitere Benchmark-Vorschläge.
- Benchmarks gelten auf drei GPU-Architekturen: NVIDIA GB10, H100 und B200
- Getestete Modelle: Gemma 4 dense (google/gemma-4-E4B-it) und MoE-Variante
- Ergebnisse reproduzierbar über Quantisierungen eQ8_0 und Q4K
- OpenAI-kompatibler Server mit Web-Chat-UI und agentischen Features per CLI startbar
- Installation via Einzeiler-Skript für Mac/Linux (curl) und Windows (irm)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com5d
mistral.rs v0.9.0: bis zu 1,8× schnellerer CPU-Decode als llama.cpp
- MEINUNGreddit.com3d
llama.cpp vs. vLLM auf AMD MI50: Community-Diskussion zu Tensor-Parallel-Support
- MEINUNGreddit.com3w
llama.cpp: RTX 5090 schneller als H100 bei 31B-Modell-Inferenz
- MEINUNGreddit.com1w
Gemma 4 12B Q8 auf NVIDIA RTX 4000: Nur 10 t/s statt 70 t/s