Xolotl: DeepSeek-V4.1-Flash 552B läuft auf einer RTX 4090 mit 27 tok/s
Warum es zählt
Xolotl verteilt Gewichte über VRAM, RAM und NVMe und lädt nur die benötigten MoE-Experten pro Token. Das macht 552B-Modelle auf Consumer-Hardware praktisch nutzbar – ein konkreter Hebel für lokale Deployments ohne teure GPU-Cluster.
— Lumeric Redaktion
27 tok/s
Decode-Geschwindigkeit auf einer RTX 4090
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Xolotl: DeepSeek-V4.1-Flash 552B läuft auf einer RTX 4090 mit 27 tok/s
Warum es zählt
Xolotl verteilt Gewichte über VRAM, RAM und NVMe und lädt nur die benötigten MoE-Experten pro Token. Das macht 552B-Modelle auf Consumer-Hardware praktisch nutzbar – ein konkreter Hebel für lokale Deployments ohne teure GPU-Cluster.
— Lumeric Redaktion
27 tok/s
Decode-Geschwindigkeit auf einer RTX 4090
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.