NInfer v0.3.0: Qwen3-Inferenz auf RTX 2080 Ti 22 GB jetzt nativ unter Windows
Warum es zählt
Nutzer einer modifizierten RTX 2080 Ti mit 22 GB VRAM können Qwen3-27B jetzt ohne Linux, WSL2 oder Docker direkt unter Windows betreiben – mit bis zu 47,5 tok/s (MTP, Code) und 64k Kontext via INT8 KV-Cache, ohne System-RAM-Offloading.
— Lumeric Redaktion
47.5 tok/s
Decode-Speed mit MTP (Code-Prompt, 2080 Ti)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
NInfer v0.3.0: Qwen3-Inferenz auf RTX 2080 Ti 22 GB jetzt nativ unter Windows
Warum es zählt
Nutzer einer modifizierten RTX 2080 Ti mit 22 GB VRAM können Qwen3-27B jetzt ohne Linux, WSL2 oder Docker direkt unter Windows betreiben – mit bis zu 47,5 tok/s (MTP, Code) und 64k Kontext via INT8 KV-Cache, ohne System-RAM-Offloading.
— Lumeric Redaktion
47.5 tok/s
Decode-Speed mit MTP (Code-Prompt, 2080 Ti)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.