Project Zero v0.2.0: CPU-only LLM-Engine für Ternary, Dense und MoE-Modelle
Warum es zählt
DeepSeek-V2-Lite-Chat Q4_K_S erreicht 11,7–12,6 tok/s und übertrifft damit llama.cpp (9,4–10,5 tok/s) auf AVX-512-Xeon. Parallel-Modus verdoppelt Durchsatz bei 4 gleichzeitigen Clients. Für CPU-only-Deployments ohne GPU oder Python-Runtime ist das eine praktisch einsetzbare Alternative.
— Lumeric Redaktion
Inferenz-Durchsatz DeepSeek-V2-Lite-Chat Q4_K_S (4-vCPU AVX-512 Xeon) · Spitzenwert
12.1%
Project Zero v0.2.0
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Project Zero v0.2.0: CPU-only LLM-Engine für Ternary, Dense und MoE-Modelle
Warum es zählt
DeepSeek-V2-Lite-Chat Q4_K_S erreicht 11,7–12,6 tok/s und übertrifft damit llama.cpp (9,4–10,5 tok/s) auf AVX-512-Xeon. Parallel-Modus verdoppelt Durchsatz bei 4 gleichzeitigen Clients. Für CPU-only-Deployments ohne GPU oder Python-Runtime ist das eine praktisch einsetzbare Alternative.
— Lumeric Redaktion
Inferenz-Durchsatz DeepSeek-V2-Lite-Chat Q4_K_S (4-vCPU AVX-512 Xeon) · Spitzenwert
12.1%
Project Zero v0.2.0
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.