Qwen 3.8 27B mit 262k Kontext auf einer 9060 XT 16GB – Community-Setup
Warum es zählt
Mit IQ4XS-Quantisierung, KV-Cache-Streaming, q4/q8 KV-Cache und MTP+Ngram-Prediction lassen sich große Modelle kosteneffizient auf Consumer-Hardware betreiben – konkrete Konfigurationswerte helfen anderen beim Nachbauen.
— Lumeric Redaktion
42,7 tps
Generierungsgeschwindigkeit bei 20k Kontext
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Qwen 3.8 27B mit 262k Kontext auf einer 9060 XT 16GB – Community-Setup
Warum es zählt
Mit IQ4XS-Quantisierung, KV-Cache-Streaming, q4/q8 KV-Cache und MTP+Ngram-Prediction lassen sich große Modelle kosteneffizient auf Consumer-Hardware betreiben – konkrete Konfigurationswerte helfen anderen beim Nachbauen.
— Lumeric Redaktion
42,7 tps
Generierungsgeschwindigkeit bei 20k Kontext
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.