Qwen 3.6 27B auf Strix Halo: Praxisbericht zu Q8 vs. FP16 und Kontext-Limits
Ein Reddit-Nutzer teilt Praxiserfahrungen mit Qwen 3.6 27B auf einem AMD-Strix-Halo-System. Bei Q8-Quantisierung erreicht er beim Coding rund 14 Tokens pro Sekunde (TPS), während FP16 auf seiner Hardware zu langsam ist, um direkt verglichen zu werden. Die MTP-Einstellung (Multi-Token Prediction) mit max. 3 Draft-Tokens bringt gegenüber dem Wert 2 (~11 TPS) eine spürbare Verbesserung. Ein praxisrelevanter Hinweis betrifft das Kontextfenster: Oberhalb von 100k Token degradiert die Modellqualität merklich, was zunächst schwer zuzuordnen war. Der Nutzer fragt die Community nach Erfahrungen zum Qualitätsunterschied zwischen Q8 und FP16 sowohl bei den Gewichten als auch beim KV-Cache. Der Post spiegelt eine wachsende Nutzerbasis wider, die leistungsfähige 27B-Modelle lokal auf APU-/Laptop-Hardware betreibt und dabei Quantisierungs- und Inferenz-Tuning-Fragen praktisch auslotet.
- ~14 TPS bei Qwen 3.6 27B Q8 auf Strix Halo während Coding-Tasks
- MTP Max Draft 3 liefert ~14 TPS, Draft 2 nur ~11 TPS
- Qualität bricht spürbar ein, wenn der Kontext 100k Token überschreitet
- FP16 auf der genannten Hardware zu langsam für praktischen Einsatz
- Frage nach Q8- vs. FP16-Unterschieden bei Gewichten UND KV-Cache offen
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Qwen 3.6 27B auf Strix Halo: Praxisbericht zu Q8 vs. FP16 und Kontext-Limits
Ein Reddit-Nutzer teilt Praxiserfahrungen mit Qwen 3.6 27B auf einem AMD-Strix-Halo-System. Bei Q8-Quantisierung erreicht er beim Coding rund 14 Tokens pro Sekunde (TPS), während FP16 auf seiner Hardware zu langsam ist, um direkt verglichen zu werden. Die MTP-Einstellung (Multi-Token Prediction) mit max. 3 Draft-Tokens bringt gegenüber dem Wert 2 (~11 TPS) eine spürbare Verbesserung. Ein praxisrelevanter Hinweis betrifft das Kontextfenster: Oberhalb von 100k Token degradiert die Modellqualität merklich, was zunächst schwer zuzuordnen war. Der Nutzer fragt die Community nach Erfahrungen zum Qualitätsunterschied zwischen Q8 und FP16 sowohl bei den Gewichten als auch beim KV-Cache. Der Post spiegelt eine wachsende Nutzerbasis wider, die leistungsfähige 27B-Modelle lokal auf APU-/Laptop-Hardware betreibt und dabei Quantisierungs- und Inferenz-Tuning-Fragen praktisch auslotet.
- ~14 TPS bei Qwen 3.6 27B Q8 auf Strix Halo während Coding-Tasks
- MTP Max Draft 3 liefert ~14 TPS, Draft 2 nur ~11 TPS
- Qualität bricht spürbar ein, wenn der Kontext 100k Token überschreitet
- FP16 auf der genannten Hardware zu langsam für praktischen Einsatz
- Frage nach Q8- vs. FP16-Unterschieden bei Gewichten UND KV-Cache offen
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.