DeepSeek-V4-Flash: KV-Cache-Quantisierung reduziert Compute-Buffer um Faktor 3
CompaniesDeepSeek
Warum es zählt
Wer DeepSeek-V4-Flash lokal auf GPUs mit ≤32 GB VRAM betreibt, kann OOM-Fehler bei hohem Kontext durch Setzen von `-ctk q8_0 -ctv q8_0` vermeiden – ohne nennenswerten Qualitätsverlust und mit nur ~200 MiB mehr KV-Cache-Verbrauch.
— Lumeric Redaktion
llama.cpp Compute Buffer (DeepSeek-V4-Flash-MXFP4, n_ctx=10240) · Spitzenwert
12964%
KV-Cache f16 (Standard)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
DeepSeek-V4-Flash: KV-Cache-Quantisierung reduziert Compute-Buffer um Faktor 3
CompaniesDeepSeek
Warum es zählt
Wer DeepSeek-V4-Flash lokal auf GPUs mit ≤32 GB VRAM betreibt, kann OOM-Fehler bei hohem Kontext durch Setzen von `-ctk q8_0 -ctv q8_0` vermeiden – ohne nennenswerten Qualitätsverlust und mit nur ~200 MiB mehr KV-Cache-Verbrauch.
— Lumeric Redaktion
llama.cpp Compute Buffer (DeepSeek-V4-Flash-MXFP4, n_ctx=10240) · Spitzenwert
12964%
KV-Cache f16 (Standard)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.