QEngine 1.3.1 erreicht 504 tok/s Decode mit Qwen3.8-Flash-Next auf 2× RTX 5090
CompaniesMeta AI
Warum es zählt
Für lokale MoE-Inferenz auf Consumer-/Prosumer-GPUs bietet QEngine 1.3.1 den bisher höchsten gemessenen Single-Stream-Durchsatz auf 2× RTX 5090. Der FLASH_KV=ram-Modus hält 8 von 8 langen Konversationen warm statt nur 2 von 8 – relevant für agentic Workloads mit vielen parallelen Sessions.
— Lumeric Redaktion
Single-Stream Decode (tok/s, narrative/code) · Spitzenwert
504%
QEngine 1.3.1 (FLASH_KV=ram)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
QEngine 1.3.1 erreicht 504 tok/s Decode mit Qwen3.8-Flash-Next auf 2× RTX 5090
CompaniesMeta AI
Warum es zählt
Für lokale MoE-Inferenz auf Consumer-/Prosumer-GPUs bietet QEngine 1.3.1 den bisher höchsten gemessenen Single-Stream-Durchsatz auf 2× RTX 5090. Der FLASH_KV=ram-Modus hält 8 von 8 langen Konversationen warm statt nur 2 von 8 – relevant für agentic Workloads mit vielen parallelen Sessions.
— Lumeric Redaktion
Single-Stream Decode (tok/s, narrative/code) · Spitzenwert
504%
QEngine 1.3.1 (FLASH_KV=ram)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.