Qwen3.6 27B mit DFlash auf DGX Spark: ~30 t/s Decode, 620 t/s Prefill
CompaniesNVIDIA
Warum es zählt
Zeigt praxisnahe DFlash-Tuning-Parameter (spec-draft-n-max 4, Q4_0 KV-Cache, 262k Kontext) auf DGX Spark. Die 59 % Acceptance-Rate und ~30 t/s Decode-Throughput geben AI-Buildern einen Referenzpunkt für eigene Optimierungen mit llama.cpp Speculative Decoding auf NVIDIA DGX Spark.
— Lumeric Redaktion
~30 t/s
Token-Generierung (tg) auf DGX Spark
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Qwen3.6 27B mit DFlash auf DGX Spark: ~30 t/s Decode, 620 t/s Prefill
CompaniesNVIDIA
Warum es zählt
Zeigt praxisnahe DFlash-Tuning-Parameter (spec-draft-n-max 4, Q4_0 KV-Cache, 262k Kontext) auf DGX Spark. Die 59 % Acceptance-Rate und ~30 t/s Decode-Throughput geben AI-Buildern einen Referenzpunkt für eigene Optimierungen mit llama.cpp Speculative Decoding auf NVIDIA DGX Spark.
— Lumeric Redaktion
~30 t/s
Token-Generierung (tg) auf DGX Spark
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.