POCKET-35B: 35B-Agentenmodell läuft CPU-only mit 59 Tokens/s
CompaniesHugging Face
Warum es zählt
35B-Modelle mit 59 t/s auf der CPU ohne GPU-Anforderung senken die Einstiegshürde für lokale Agenten-Inferenz erheblich. Die Varianten für Android und iPhone (ab 5,1 GB) ermöglichen On-Device-AI ohne Cloud-Abhängigkeit.
— Lumeric Redaktion
59 t/s
CPU-Inferenzgeschwindigkeit (POCKET-35B)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com3w
Alibabas RISC-V-CPU XuanTie C950 führt Qwen-3.8 27B mit 30 tps aus
- MEINUNGreddit.com3w
Community-Diskussion: MoE-Modelle als CPU-Agenten mit 256K Kontext
- BENCHMARKreddit.com1d
Nex-N2.5-mini-MLX-4bit erreicht 133,6 tok/s auf Apple M5 Max
- BENCHMARKreddit.com1h
K2 Horizon 7B erreicht Leistung von Qwen-Modellen mit 27B–35B Parametern
POCKET-35B: 35B-Agentenmodell läuft CPU-only mit 59 Tokens/s
CompaniesHugging Face
Warum es zählt
35B-Modelle mit 59 t/s auf der CPU ohne GPU-Anforderung senken die Einstiegshürde für lokale Agenten-Inferenz erheblich. Die Varianten für Android und iPhone (ab 5,1 GB) ermöglichen On-Device-AI ohne Cloud-Abhängigkeit.
— Lumeric Redaktion
59 t/s
CPU-Inferenzgeschwindigkeit (POCKET-35B)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com3w
Alibabas RISC-V-CPU XuanTie C950 führt Qwen-3.8 27B mit 30 tps aus
- MEINUNGreddit.com3w
Community-Diskussion: MoE-Modelle als CPU-Agenten mit 256K Kontext
- BENCHMARKreddit.com1d
Nex-N2.5-mini-MLX-4bit erreicht 133,6 tok/s auf Apple M5 Max
- BENCHMARKreddit.com1h
K2 Horizon 7B erreicht Leistung von Qwen-Modellen mit 27B–35B Parametern