DeepSeek-V4-Flash-0731 ist ein MoE-Modell mit 155,43 GiB Gewichten im FP8-Format, verteilt auf 48 Shards. Der Reddit-Nutzer betreibt es auf einem einzelnen DGX Spark (GB10-Chip, aarch64-Architektur, 121,7 GiB Unified Memory) – also ohne dediziertes VRAM. Als Inference-Engine kommt vLLM-Moet zum Einsatz, ein Fork von vLLM v0.25.0 mit einem ~7.400-Zeilen-Patch, der 2-Bit-Quantisierung der MoE-Expertengewichte über handgeschriebene SM120-SASS-Kernel realisiert. Die 43 aktiven Layer belegen dabei je 1,69 GiB, was insgesamt etwa 73 GiB für die 2-Bit-Planes ergibt. Der KV-Cache deckt bei 512K Kontextlänge und 0,90 Auslastung rund 4,56 Millionen Tokens ab, was 8,7-facher Konkurrenz entspricht. Der MTP-Head (Multi-Token Prediction) stammt aus einer Preview-Version und wurde vom Nutzer separat auf HuggingFace unter ycui7/DeepSeek-V4-Flash-MTP bereitgestellt, da der eingebettete MTP-Head der 0731-Revision auf diesem Stack nicht funktioniert. Der Kaltstart des Modells dauert 31–46 Minuten; mit warmem Plane-Cache reduziert sich die Boot-Zeit auf rund 10 Minuten. Decode-Durchsatz ist durch die LPDDR5X-Speicherbandbreite des DGX Spark limitiert.