Der Reddit-Nutzer u/jack_smirkingrevenge zeigt, dass das Modell DeepSeek-V4-Flash-0731 in einer IXQ2/Q3-Quantisierung von UnslothAI auf einer einzigen NVIDIA RTX 4090 mit 64 GB Arbeitsspeicher läuft – ohne die üblichen Inference-Stacks llama.cpp oder vllm. Stattdessen kommt ein selbst entwickelter ML-Compiler namens „Blaze" zum Einsatz, der sämtliche Kernel übernimmt. DeepSeek V4 Flash ist ein Mixture-of-Experts-Modell (MoE), das normalerweise erheblich mehr VRAM oder eine Multi-GPU-Konfiguration erfordern würde. Der entscheidende Trick: Häufig genutzte Experten-Gewichte werden im RAM vorgehalten, seltener benötigte Experten werden bei Bedarf von der Festplatte nachgeladen – ein Ansatz, den der Entwickler nach eigener Aussage von einem anderen Community-Mitglied übernommen hat. Dies führt zu einer stabilen Rate von rund 8 Tokens pro Sekunde; ein Disk-Read-Ereignis (Expert-Cache-Miss) senkt die Rate kurzzeitig auf etwa 5 t/s. Der Prefill-Bereich befindet sich noch in der Entwicklung. Laut dem Entwickler könnte die Kombination mit „dspark" und mehr RAM die Geschwindigkeit auf zweistellige t/s-Werte heben. Details zum Setup sollen in Kürze auf dem Substack des Entwicklers veröffentlicht werden.