DeepSeek-V4-Flash-Vision-Exp (285B MoE) läuft auf 10–12× RTX 3090 mit 120+ tok/s
ToolsDeepSeek
CompaniesDeepSeek
Warum es zählt
Das vollständig dokumentierte Setup (Docker-Image + Repo) zeigt, dass ein 285B-MoE-Modell mit FP4/FP8-Quantisierung auf Consumer-Ampere-Hardware praktisch nutzbar ist – inklusive Vision, Tool-Calls und 4M-Kontext mit RAM-Offload. Reproduzierbar für AI-Builder mit Multi-GPU-Setups.
— Lumeric Redaktion
120+ tok/s
Decode-Speed auf 12× RTX 3090 (TP4xPP3)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
DeepSeek-V4-Flash-Vision-Exp (285B MoE) läuft auf 10–12× RTX 3090 mit 120+ tok/s
ToolsDeepSeek
CompaniesDeepSeek
Warum es zählt
Das vollständig dokumentierte Setup (Docker-Image + Repo) zeigt, dass ein 285B-MoE-Modell mit FP4/FP8-Quantisierung auf Consumer-Ampere-Hardware praktisch nutzbar ist – inklusive Vision, Tool-Calls und 4M-Kontext mit RAM-Offload. Reproduzierbar für AI-Builder mit Multi-GPU-Setups.
— Lumeric Redaktion
120+ tok/s
Decode-Speed auf 12× RTX 3090 (TP4xPP3)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.