EPYC 9374f vs. 9135: CPU-Benchmarks für lokale LLM-Inferenz mit ik_llama.cpp
ToolsLlama
CompaniesAMD
Warum es zählt
Mehr CCDs bedeuten bei CPU-Inferenz nicht automatisch mehr TG-Durchsatz; Thread-Zahl und NUMA-Topologie sind entscheidend. Für LLM-Builder: 9374f liefert bei 48 Threads ~12 t/s TG (vs. ~8,7 t/s beim 9135), bringt beim PP aber kaum Gewinn.
— Lumeric Redaktion
ik_llama.cpp TG-Durchsatz (t/s, N_KV=0, Unsloth GLM-5.2-UD-IQ4_XS) · Spitzenwert
12.19%
EPYC 9374f
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
EPYC 9374f vs. 9135: CPU-Benchmarks für lokale LLM-Inferenz mit ik_llama.cpp
ToolsLlama
CompaniesAMD
Warum es zählt
Mehr CCDs bedeuten bei CPU-Inferenz nicht automatisch mehr TG-Durchsatz; Thread-Zahl und NUMA-Topologie sind entscheidend. Für LLM-Builder: 9374f liefert bei 48 Threads ~12 t/s TG (vs. ~8,7 t/s beim 9135), bringt beim PP aber kaum Gewinn.
— Lumeric Redaktion
ik_llama.cpp TG-Durchsatz (t/s, N_KV=0, Unsloth GLM-5.2-UD-IQ4_XS) · Spitzenwert
12.19%
EPYC 9374f
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.