Betelgeuse läuft DeepSeek V4.1 Flash Q8_XL mit 19 tok/s auf RTX 3060
CompaniesDeepSeek
Warum es zählt
Drei Techniken – Location-Invariant Cache Partitioning, Single-Pass Layer-Major Prefill in 16-Token-Batches und End-of-Pass VRAM Consolidation – eliminieren den Prefill-Flaschenhals bei Offloading-MoEs: PP steigt von 3–6 auf 61,8 tok/s. Frontier-MoEs werden damit auf Consumer-Hardware interaktiv nutzbar, ohne Quantisierung auf IQ2.
— Lumeric Redaktion
Warm Decode (tok/s) – DeepSeek V4.1 Flash auf RTX 3060 · Spitzenwert
18.92%
Betelgeuse (Warm TG)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Betelgeuse läuft DeepSeek V4.1 Flash Q8_XL mit 19 tok/s auf RTX 3060
CompaniesDeepSeek
Warum es zählt
Drei Techniken – Location-Invariant Cache Partitioning, Single-Pass Layer-Major Prefill in 16-Token-Batches und End-of-Pass VRAM Consolidation – eliminieren den Prefill-Flaschenhals bei Offloading-MoEs: PP steigt von 3–6 auf 61,8 tok/s. Frontier-MoEs werden damit auf Consumer-Hardware interaktiv nutzbar, ohne Quantisierung auf IQ2.
— Lumeric Redaktion
Warm Decode (tok/s) – DeepSeek V4.1 Flash auf RTX 3060 · Spitzenwert
18.92%
Betelgeuse (Warm TG)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.