POCKET-35B: 35B-Agentenmodell läuft CPU-only mit 59 Tokens/s
CompaniesHugging Face
Warum es zählt
35B-Modelle mit 59 t/s auf der CPU ohne GPU-Anforderung senken die Einstiegshürde für lokale Agenten-Inferenz erheblich. Die Varianten für Android und iPhone (ab 5,1 GB) ermöglichen On-Device-AI ohne Cloud-Abhängigkeit.
— Lumeric Redaktion
59 t/s
CPU-Inferenzgeschwindigkeit (POCKET-35B)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
POCKET-35B: 35B-Agentenmodell läuft CPU-only mit 59 Tokens/s
CompaniesHugging Face
Warum es zählt
35B-Modelle mit 59 t/s auf der CPU ohne GPU-Anforderung senken die Einstiegshürde für lokale Agenten-Inferenz erheblich. Die Varianten für Android und iPhone (ab 5,1 GB) ermöglichen On-Device-AI ohne Cloud-Abhängigkeit.
— Lumeric Redaktion
59 t/s
CPU-Inferenzgeschwindigkeit (POCKET-35B)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.