AMD Lucebox schlägt Nvidia DGX Spark um 3,63× bei DeepSeek V4 Flash Decode
Das Startup Lucebox hat in Zusammenarbeit mit AMD ein heterogenes Inferenz-System entwickelt, das eine AMD Radeon AI PRO R9700 GPU mit einem Strix-Halo-APU-System (128 GB Unified Memory) kombiniert. Die Architektur nutzt eine sogenannte asymmetrische Parallelisierung: Die R9700 übernimmt den dichten Berechnungspfad, verarbeitet die häufig aktivierten „Hot Experts", hält den KV-Cache und betreibt das Draft-Modell – während der Strix-Halo-Chip die übrigen MoE-Experten im großen Unified Memory hält und diese parallel, nicht sequenziell, berechnet. Dieses Prinzip ermöglicht es, das vollständige DeepSeek V4 Modell mit 284 Milliarden Parametern in Q2-Quantisierung bei 16k Kontext mit 51,1 Tokens pro Sekunde zu betreiben. Zum Vergleich: Ein einzelner Nvidia DGX Spark erreicht laut Lucebox nur rund 14 tok/s auf derselben Aufgabe, womit der Faktor 3,63× entsteht. Preislich liegt das Lucebox-Setup 2.899 USD unter dem Preis zweier DGX-Spark-Einheiten, was die Kosteneffizienz weiter unterstreicht. Der technische Detailbericht ist auf dem Lucebox-Blog unter dem Titel „DeepSeek V4 Asymmetric Parallelism" veröffentlicht. Das System befindet sich noch im experimentellen Stadium; die Unterstützung längerer Kontextfenster (64k–128k) soll durch die Implementierung von KVFlash in den kommenden Monaten folgen.
- Architekturprinzip: R9700 berechnet Dense-Path und Hot Experts **parallel** zum Strix Halo, nicht hintereinander – das ist der Kern des Geschwindigkeitsvorteils.
- Strix Halo hält die restlichen MoE-Experten im 128-GB-Unified-Memory und führt deren Berechnung gleichzeitig mit der R9700 durch.
- Aktuell läuft das System mit Q2-Quantisierung bei maximal 16k Kontext – höhere Qualitätsstufen oder längere Kontexte sind noch nicht getestet.
- KVFlash-Integration ist in Arbeit und soll Kontextfenster von 64k bis 128k Token ermöglichen.
- Der vollständige technische Bericht ist im Lucebox-Blog unter dem Titel 'DeepSeek V4 Asymmetric Parallelism' einsehbar.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
AMD Lucebox schlägt Nvidia DGX Spark um 3,63× bei DeepSeek V4 Flash Decode
Das Startup Lucebox hat in Zusammenarbeit mit AMD ein heterogenes Inferenz-System entwickelt, das eine AMD Radeon AI PRO R9700 GPU mit einem Strix-Halo-APU-System (128 GB Unified Memory) kombiniert. Die Architektur nutzt eine sogenannte asymmetrische Parallelisierung: Die R9700 übernimmt den dichten Berechnungspfad, verarbeitet die häufig aktivierten „Hot Experts", hält den KV-Cache und betreibt das Draft-Modell – während der Strix-Halo-Chip die übrigen MoE-Experten im großen Unified Memory hält und diese parallel, nicht sequenziell, berechnet. Dieses Prinzip ermöglicht es, das vollständige DeepSeek V4 Modell mit 284 Milliarden Parametern in Q2-Quantisierung bei 16k Kontext mit 51,1 Tokens pro Sekunde zu betreiben. Zum Vergleich: Ein einzelner Nvidia DGX Spark erreicht laut Lucebox nur rund 14 tok/s auf derselben Aufgabe, womit der Faktor 3,63× entsteht. Preislich liegt das Lucebox-Setup 2.899 USD unter dem Preis zweier DGX-Spark-Einheiten, was die Kosteneffizienz weiter unterstreicht. Der technische Detailbericht ist auf dem Lucebox-Blog unter dem Titel „DeepSeek V4 Asymmetric Parallelism" veröffentlicht. Das System befindet sich noch im experimentellen Stadium; die Unterstützung längerer Kontextfenster (64k–128k) soll durch die Implementierung von KVFlash in den kommenden Monaten folgen.
- Architekturprinzip: R9700 berechnet Dense-Path und Hot Experts **parallel** zum Strix Halo, nicht hintereinander – das ist der Kern des Geschwindigkeitsvorteils.
- Strix Halo hält die restlichen MoE-Experten im 128-GB-Unified-Memory und führt deren Berechnung gleichzeitig mit der R9700 durch.
- Aktuell läuft das System mit Q2-Quantisierung bei maximal 16k Kontext – höhere Qualitätsstufen oder längere Kontexte sind noch nicht getestet.
- KVFlash-Integration ist in Arbeit und soll Kontextfenster von 64k bis 128k Token ermöglichen.
- Der vollständige technische Bericht ist im Lucebox-Blog unter dem Titel 'DeepSeek V4 Asymmetric Parallelism' einsehbar.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.