llama.cpp Tensor Split Fix für gfx1030-GPUs: -ub 384 löst Absturzproblem
CompaniesAMD
Warum es zählt
Nutzer mit mehreren AMD V620- oder anderen gfx1030-Karten können Tensor Split in llama.cpp nun stabil nutzen, indem sie -ub 384 und -b als Vielfaches davon setzen. Damit werden Modelle wie Qwen3 27B Q8_0 mit 40–50 t/s Generation auf zwei Karten über ROCm oder Vulkan lauffähig.
— Lumeric Redaktion
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
llama.cpp Tensor Split Fix für gfx1030-GPUs: -ub 384 löst Absturzproblem
CompaniesAMD
Warum es zählt
Nutzer mit mehreren AMD V620- oder anderen gfx1030-Karten können Tensor Split in llama.cpp nun stabil nutzen, indem sie -ub 384 und -b als Vielfaches davon setzen. Damit werden Modelle wie Qwen3 27B Q8_0 mit 40–50 t/s Generation auf zwei Karten über ROCm oder Vulkan lauffähig.
— Lumeric Redaktion
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.