Llama.cpp mit Qwen Flash Next 180B Q4 auf Vulkan: 19–21 t/s bei 262K Kontext
CompaniesAMD
Warum es zählt
Das manuelle Setzen von -c/--ctx-size halbiert die Performance auf ~8 t/s – llama.cpp sollte den Kontext bei MoE-Modellen selbst allokieren. Praxisrelevant für alle, die große MoE-Modelle auf Consumer-AMD-GPUs mit Vulkan-Backend betreiben.
— Lumeric Redaktion
19–21 t/s
Generierung bei vollem 262K-Kontext
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Llama.cpp mit Qwen Flash Next 180B Q4 auf Vulkan: 19–21 t/s bei 262K Kontext
CompaniesAMD
Warum es zählt
Das manuelle Setzen von -c/--ctx-size halbiert die Performance auf ~8 t/s – llama.cpp sollte den Kontext bei MoE-Modellen selbst allokieren. Praxisrelevant für alle, die große MoE-Modelle auf Consumer-AMD-GPUs mit Vulkan-Backend betreiben.
— Lumeric Redaktion
19–21 t/s
Generierung bei vollem 262K-Kontext
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.