MiniCPM-V 4.7 35B-A3B: Erstes Open-Source-MoE-Multimodal-Modell für On-Device-Inferenz
Warum es zählt
Das Modell läuft dank MoE-Architektur (35B Parameter, nur 3B aktiv) und neuer Quantisierungstechniken flüssig auf mobilen Geräten. Unterstützung für llama.cpp, vLLM, SGLang, GGUF/AWQ/GPTQ sowie Fine-Tuning via LLaMA-Factory macht es sofort praxistauglich für lokale multimodale Anwendungen.
— Lumeric Redaktion
13+ tokens/s
Dekodiergeschwindigkeit auf iPhone 17 Pro Max
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- GERÜCHTreddit.com5d
MiniCPM-V-4.7-35B-A3B: Neues MoE-Modell auf HuggingFace angekündigt
- GERÜCHTreddit.com1d
llama.cpp erhält Support für MiniCPM-V 4.7 via Pull Request
- BENCHMARKreddit.com1mo
Nex-N2.5-mini-MLX-4bit erreicht 133,6 tok/s auf Apple M5 Max
- LAUNCHreddit.com2w
Ling-3.0-flash-VL: 124B-Parameter Multimodal-MoE mit 256K Kontext in llama.cpp
MiniCPM-V 4.7 35B-A3B: Erstes Open-Source-MoE-Multimodal-Modell für On-Device-Inferenz
Warum es zählt
Das Modell läuft dank MoE-Architektur (35B Parameter, nur 3B aktiv) und neuer Quantisierungstechniken flüssig auf mobilen Geräten. Unterstützung für llama.cpp, vLLM, SGLang, GGUF/AWQ/GPTQ sowie Fine-Tuning via LLaMA-Factory macht es sofort praxistauglich für lokale multimodale Anwendungen.
— Lumeric Redaktion
13+ tokens/s
Dekodiergeschwindigkeit auf iPhone 17 Pro Max
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- GERÜCHTreddit.com5d
MiniCPM-V-4.7-35B-A3B: Neues MoE-Modell auf HuggingFace angekündigt
- GERÜCHTreddit.com1d
llama.cpp erhält Support für MiniCPM-V 4.7 via Pull Request
- BENCHMARKreddit.com1mo
Nex-N2.5-mini-MLX-4bit erreicht 133,6 tok/s auf Apple M5 Max
- LAUNCHreddit.com2w
Ling-3.0-flash-VL: 124B-Parameter Multimodal-MoE mit 256K Kontext in llama.cpp