Qwen3.8 Flash Next auf 5 Consumer-Geräten verteilt: 37–39 tok/s bei 60k Kontext
ToolsQwen
Warum es zählt
Das Setup zeigt, dass Consumer-Hardware (GPUs, Apple Silicon, iPhone-NPUs) per verteilter Inferenz für große MoE-Modelle jenseits des VRAM einzelner Geräte nutzbar ist. Die Pipeline-Spekulation über 5 Geräte erreicht 37–42 tok/s – praxisrelevant für lokale Agent-Workloads mit langem Kontext bis 262k geplant.
— Lumeric Redaktion
37–39 tok/s
Dekodierrate bei 60k Kontext, 5 Geräte
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Qwen3.8 Flash Next auf 5 Consumer-Geräten verteilt: 37–39 tok/s bei 60k Kontext
ToolsQwen
Warum es zählt
Das Setup zeigt, dass Consumer-Hardware (GPUs, Apple Silicon, iPhone-NPUs) per verteilter Inferenz für große MoE-Modelle jenseits des VRAM einzelner Geräte nutzbar ist. Die Pipeline-Spekulation über 5 Geräte erreicht 37–42 tok/s – praxisrelevant für lokale Agent-Workloads mit langem Kontext bis 262k geplant.
— Lumeric Redaktion
37–39 tok/s
Dekodierrate bei 60k Kontext, 5 Geräte
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.