Qwen 3.8 27B auf RTX 5090: 110–120 tok/s mit Q4_K_M und Q5_K_M
Warum es zählt
Mit einer einzelnen RTX 5090 lässt sich ein 27B-Modell bei hoher Geschwindigkeit lokal betreiben. Q4_K_M ermöglicht dabei 120K Kontext, Q5_K_M 90K — nützliche Orientierung für lokale Deployments mit großem Kontextbedarf.
— Lumeric Redaktion
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Qwen 3.8 27B auf RTX 5090: 110–120 tok/s mit Q4_K_M und Q5_K_M
Warum es zählt
Mit einer einzelnen RTX 5090 lässt sich ein 27B-Modell bei hoher Geschwindigkeit lokal betreiben. Q4_K_M ermöglicht dabei 120K Kontext, Q5_K_M 90K — nützliche Orientierung für lokale Deployments mit großem Kontextbedarf.
— Lumeric Redaktion
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.