Community-Tuning: Qwen 3.8B mit 45+ T/s auf 8-bit-Quant auf Apple M-Series
ToolsQwen
Warum es zählt
Detaillierte Inference-Argumente mit Annotationen (was funktioniert, was nicht) sind öffentlich einsehbar und können als Ausgangspunkt für eigene M-Series-Setups mit Qwen 3.8B dienen. Coding-Tests zeigen keine Qualitätsverluste gegenüber Standardwerten.
— Lumeric Redaktion
45+ T/s
Tokens/Sek. bei 8-bit-Quant auf M-Series
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Community-Tuning: Qwen 3.8B mit 45+ T/s auf 8-bit-Quant auf Apple M-Series
ToolsQwen
Warum es zählt
Detaillierte Inference-Argumente mit Annotationen (was funktioniert, was nicht) sind öffentlich einsehbar und können als Ausgangspunkt für eigene M-Series-Setups mit Qwen 3.8B dienen. Coding-Tests zeigen keine Qualitätsverluste gegenüber Standardwerten.
— Lumeric Redaktion
45+ T/s
Tokens/Sek. bei 8-bit-Quant auf M-Series
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.