Qwen3.5 35B A3B Float8 läuft mit 55 tok/s auf RTX 5060 Ti
Warum es zählt
Consumer-Hardware (RTX 5060 Ti) kann damit ein 35B-MoE-Modell mit praxistauglicher Geschwindigkeit betreiben. MTP-Support ist noch nicht aktiv und könnte die Inferenz weiter beschleunigen.
— Lumeric Redaktion
55 tok/s
Qwen3.5 35B Float8 auf RTX 5060 Ti
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Qwen3.5 35B A3B Float8 läuft mit 55 tok/s auf RTX 5060 Ti
Warum es zählt
Consumer-Hardware (RTX 5060 Ti) kann damit ein 35B-MoE-Modell mit praxistauglicher Geschwindigkeit betreiben. MTP-Support ist noch nicht aktiv und könnte die Inferenz weiter beschleunigen.
— Lumeric Redaktion
55 tok/s
Qwen3.5 35B Float8 auf RTX 5060 Ti
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.