Qwen3.5 122B A10B mit Q2-Quant in 64 GB RAM: Praxisbericht CPU-Inferenz
ToolsQwen
CompaniesAMD
Warum es zählt
Für CPU-only-Setups mit 64 GB RAM zeigt der Bericht, dass UD-Q2_K_XL-Quants trotz aggressiver Komprimierung qualitativ überzeugen können – aber prompt-processing-Engpässe agentic Workloads praktisch ausschließen. DDR5-5600 würde die Geschwindigkeit auf ~6 tok/s fast verdoppeln.
— Lumeric Redaktion
CPU-Inferenzgeschwindigkeit (tok/s, 64 GB DDR4) · Spitzenwert
8.5%
Qwen3 Next 80B UD-Q4_K_XL
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Qwen3.5 122B A10B mit Q2-Quant in 64 GB RAM: Praxisbericht CPU-Inferenz
ToolsQwen
CompaniesAMD
Warum es zählt
Für CPU-only-Setups mit 64 GB RAM zeigt der Bericht, dass UD-Q2_K_XL-Quants trotz aggressiver Komprimierung qualitativ überzeugen können – aber prompt-processing-Engpässe agentic Workloads praktisch ausschließen. DDR5-5600 würde die Geschwindigkeit auf ~6 tok/s fast verdoppeln.
— Lumeric Redaktion
CPU-Inferenzgeschwindigkeit (tok/s, 64 GB DDR4) · Spitzenwert
8.5%
Qwen3 Next 80B UD-Q4_K_XL
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.