85-GB-DeepSeek-V4-Flash auf RTX 3060 mit 3 tok/s – Overspill-Disk-Tier für FreeToken
CompaniesDeepSeek
Warum es zählt
Entwickler mit Consumer-Hardware können damit MoE-Modelle weit über der VRAM-Kapazität ausführen. Overspill kombiniert Memory-Mapping, madvise(WILLNEED) und CPU-seitiges Expert-Routing – deutlich schneller als llama.cpp (0,4–0,5 tok/s) und Colibri (1,1–1,2 tok/s) auf gleicher Hardware.
— Lumeric Redaktion
Decode-Speed DeepSeek-V4-Flash (85 GB, FP4, RTX 3060 + 64 GB DDR5) · Spitzenwert
3.1%
Overspill
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
85-GB-DeepSeek-V4-Flash auf RTX 3060 mit 3 tok/s – Overspill-Disk-Tier für FreeToken
CompaniesDeepSeek
Warum es zählt
Entwickler mit Consumer-Hardware können damit MoE-Modelle weit über der VRAM-Kapazität ausführen. Overspill kombiniert Memory-Mapping, madvise(WILLNEED) und CPU-seitiges Expert-Routing – deutlich schneller als llama.cpp (0,4–0,5 tok/s) und Colibri (1,1–1,2 tok/s) auf gleicher Hardware.
— Lumeric Redaktion
Decode-Speed DeepSeek-V4-Flash (85 GB, FP4, RTX 3060 + 64 GB DDR5) · Spitzenwert
3.1%
Overspill
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.