Qwen 3.5 122B Heretic als ROCm-FP4-iMatrix-Quant für Strix Halo
Warum es zählt
Das Quant ermöglicht das lokale Ausführen eines 122B-MoE-Modells auf AMD-Strix-Halo-Hardware (z. B. Ryzen AI Max) mit akzeptabler Qualitätsabweichung (KLD ~0,10) und über 28 tok/s – relevant für ROCm-Nutzer ohne NVIDIA-GPU.
— Lumeric Redaktion
28,45 tok/s
Decode-Geschwindigkeit auf Strix Halo (FP4)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Qwen 3.5 122B Heretic als ROCm-FP4-iMatrix-Quant für Strix Halo
Warum es zählt
Das Quant ermöglicht das lokale Ausführen eines 122B-MoE-Modells auf AMD-Strix-Halo-Hardware (z. B. Ryzen AI Max) mit akzeptabler Qualitätsabweichung (KLD ~0,10) und über 28 tok/s – relevant für ROCm-Nutzer ohne NVIDIA-GPU.
— Lumeric Redaktion
28,45 tok/s
Decode-Geschwindigkeit auf Strix Halo (FP4)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.