DeepSeek V4.1 Flash hat 748B Parameter – nicht 552B
Der Reddit-Nutzer DistanceSolar1449 hat die Safetensors-Dateien von DeepSeek V4.1 Flash auf HuggingFace manuell analysiert und dabei eine erhebliche Diskrepanz zwischen offiziell kommunizierten und tatsächlichen Parameterzahlen aufgedeckt. Das Hauptmodell allein umfasst 551,566 Milliarden Parameter, verteilt auf 40 Layer: Die FFN-Experten-Blöcke machen dabei 543,582B aus, während Attention, Shared Experts und sonstige Komponenten 7,984B beisteuern. HuggingFace gibt das Modell fälschlicherweise mit 485B an, weil FP4-gepackte Gewichte als Bytes statt als Parameterpaare gezählt werden – jedes Byte enthält aber zwei FP4-Parameter. Zusätzlich zum Hauptmodell existieren drei weitere Komponenten: der sogenannte Engram mit ~196,929B Parametern, DSpark/MTP mit ~14,225B sowie ein Vision Encoder mit lediglich ~0,485B. Diese Zusatzkomponenten sind technisch optional, der Engram trägt aber den größten Anteil zur tatsächlichen Gesamtgröße von ~748B bei. Der Vision Encoder fiel dem Autor nach eigener Aussage überraschend klein aus. Für den lokalen Betrieb des vollständigen Modell-Stacks reichen selbst 256 GB RAM oder VRAM nicht aus, was die Anforderungen gegenüber bisherigen Schätzungen deutlich nach oben verschiebt.
- Hauptmodell: 551,566B Parameter auf 40 Layern – FFN-Experten allein 543,582B, Rest (Attention, Shared Experts) nur 7,984B.
- Engram-Komponente: ~196,929B Parameter – größter Einzelblock neben dem Hauptmodell und maßgeblich für die Gesamtgröße von ~748B.
- DSpark/MTP-Modul: ~14,225B Parameter; Vision Encoder überraschend klein mit nur ~0,485B.
- HuggingFaces falsche 485B-Angabe entsteht durch FP4-Zählfehler: 2 FP4-Parameter pro Byte werden als 1 gezählt.
- Engram, DSpark/MTP und Vision Encoder gelten laut Autor als technisch optional, werden für den Volleinsatz aber mitgeladen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
DeepSeek V4.1 Flash hat 748B Parameter – nicht 552B
Der Reddit-Nutzer DistanceSolar1449 hat die Safetensors-Dateien von DeepSeek V4.1 Flash auf HuggingFace manuell analysiert und dabei eine erhebliche Diskrepanz zwischen offiziell kommunizierten und tatsächlichen Parameterzahlen aufgedeckt. Das Hauptmodell allein umfasst 551,566 Milliarden Parameter, verteilt auf 40 Layer: Die FFN-Experten-Blöcke machen dabei 543,582B aus, während Attention, Shared Experts und sonstige Komponenten 7,984B beisteuern. HuggingFace gibt das Modell fälschlicherweise mit 485B an, weil FP4-gepackte Gewichte als Bytes statt als Parameterpaare gezählt werden – jedes Byte enthält aber zwei FP4-Parameter. Zusätzlich zum Hauptmodell existieren drei weitere Komponenten: der sogenannte Engram mit ~196,929B Parametern, DSpark/MTP mit ~14,225B sowie ein Vision Encoder mit lediglich ~0,485B. Diese Zusatzkomponenten sind technisch optional, der Engram trägt aber den größten Anteil zur tatsächlichen Gesamtgröße von ~748B bei. Der Vision Encoder fiel dem Autor nach eigener Aussage überraschend klein aus. Für den lokalen Betrieb des vollständigen Modell-Stacks reichen selbst 256 GB RAM oder VRAM nicht aus, was die Anforderungen gegenüber bisherigen Schätzungen deutlich nach oben verschiebt.
- Hauptmodell: 551,566B Parameter auf 40 Layern – FFN-Experten allein 543,582B, Rest (Attention, Shared Experts) nur 7,984B.
- Engram-Komponente: ~196,929B Parameter – größter Einzelblock neben dem Hauptmodell und maßgeblich für die Gesamtgröße von ~748B.
- DSpark/MTP-Modul: ~14,225B Parameter; Vision Encoder überraschend klein mit nur ~0,485B.
- HuggingFaces falsche 485B-Angabe entsteht durch FP4-Zählfehler: 2 FP4-Parameter pro Byte werden als 1 gezählt.
- Engram, DSpark/MTP und Vision Encoder gelten laut Autor als technisch optional, werden für den Volleinsatz aber mitgeladen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.