Custom llama.cpp-Build für AMD 7900xtx: bis 1600 tk/s auf Qwen 27B Q8_0
CompaniesAMD
Warum es zählt
7900-XTX-Nutzer können Qwen 27B Q8_0 mit bis zu 1600 tk/s Prompt-Processing und 100+ tk/s Codegenerierung laufen lassen – auch mit einer Karte hinter dem Chipsatz (PCIe x4). Mehrere Patches sind noch nicht upstream; der Build dient als Proof-of-Concept bis zur Übernahme in mainline llama.cpp.
— Lumeric Redaktion
1600 tk/s
PP8192 auf Qwen 27B Q8_0 (eine 7900 XTX)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Custom llama.cpp-Build für AMD 7900xtx: bis 1600 tk/s auf Qwen 27B Q8_0
CompaniesAMD
Warum es zählt
7900-XTX-Nutzer können Qwen 27B Q8_0 mit bis zu 1600 tk/s Prompt-Processing und 100+ tk/s Codegenerierung laufen lassen – auch mit einer Karte hinter dem Chipsatz (PCIe x4). Mehrere Patches sind noch nicht upstream; der Build dient als Proof-of-Concept bis zur Übernahme in mainline llama.cpp.
— Lumeric Redaktion
1600 tk/s
PP8192 auf Qwen 27B Q8_0 (eine 7900 XTX)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.