MiniCPM-V 4.7: 35B-MoE-Modell läuft mit 20,5 tok/s auf iPhone ohne Expert-Skipping
ToolsLlama
Warum es zählt
LES versteckt Flash-Speicher-Latenzen durch vorausschauendes Vorausladen von Expert-Gewichten, ohne das Routing zu verändern. Die Technik ist open source in llama.cpp-omni und könnte auf andere MoE-Modelle übertragen werden – relevant für On-Device-Inferenz ohne Modellkompromisse.
— Lumeric Redaktion
20,51 tok/s
auf iPhone 18 Pro Max (6,07× Baseline)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
MiniCPM-V 4.7: 35B-MoE-Modell läuft mit 20,5 tok/s auf iPhone ohne Expert-Skipping
ToolsLlama
Warum es zählt
LES versteckt Flash-Speicher-Latenzen durch vorausschauendes Vorausladen von Expert-Gewichten, ohne das Routing zu verändern. Die Technik ist open source in llama.cpp-omni und könnte auf andere MoE-Modelle übertragen werden – relevant für On-Device-Inferenz ohne Modellkompromisse.
— Lumeric Redaktion
20,51 tok/s
auf iPhone 18 Pro Max (6,07× Baseline)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.