RustingStrata schlägt llama.cpp bei DeepSeek-V4.1-Flash auf RTX 3060
CompaniesDeepSeek
Warum es zählt
Entwickler können damit ein 249-GB-Modell auf Consumer-Hardware mit nur 12 GB VRAM und 30 GB RAM betreiben, indem Experten per LRU-Cache und SSD-Streaming geladen werden. Die 2–6× höhere Decode-Geschwindigkeit gegenüber llama.cpp macht RustingStrata zur praktischeren Alternative für lokale MoE-Inferenz.
— Lumeric Redaktion
Decode-Geschwindigkeit (tok/s), DeepSeek-V4.1-Flash IQ2_XXS, RTX 3060 12 GB · Spitzenwert
2.8%
RustingStrata
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
RustingStrata schlägt llama.cpp bei DeepSeek-V4.1-Flash auf RTX 3060
CompaniesDeepSeek
Warum es zählt
Entwickler können damit ein 249-GB-Modell auf Consumer-Hardware mit nur 12 GB VRAM und 30 GB RAM betreiben, indem Experten per LRU-Cache und SSD-Streaming geladen werden. Die 2–6× höhere Decode-Geschwindigkeit gegenüber llama.cpp macht RustingStrata zur praktischeren Alternative für lokale MoE-Inferenz.
— Lumeric Redaktion
Decode-Geschwindigkeit (tok/s), DeepSeek-V4.1-Flash IQ2_XXS, RTX 3060 12 GB · Spitzenwert
2.8%
RustingStrata
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.