JSSA: Sparse Attention mit 6,43× Decoding-Durchsatz bei 128K Kontext
ToolsNVIDIA Hardware
CompaniesNVIDIA
Warum es zählt
JSSA erreicht auf einer NVIDIA B200 bis zu 6,43× Decoding-Durchsatz gegenüber Full-KV-Attention bei 128K Kontext und funktioniert über GQA, Sliding-Window/Global- sowie MLA-Architekturen hinweg – auch bei 700B-Modellen bleiben 96–99 % des Durchsatzes erhalten.
— Lumeric Redaktion
6.43×
Decoding-Throughput vs. Full-KV bei 128K Kontext
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
JSSA: Sparse Attention mit 6,43× Decoding-Durchsatz bei 128K Kontext
ToolsNVIDIA Hardware
CompaniesNVIDIA
Warum es zählt
JSSA erreicht auf einer NVIDIA B200 bis zu 6,43× Decoding-Durchsatz gegenüber Full-KV-Attention bei 128K Kontext und funktioniert über GQA, Sliding-Window/Global- sowie MLA-Architekturen hinweg – auch bei 700B-Modellen bleiben 96–99 % des Durchsatzes erhalten.
— Lumeric Redaktion
6.43×
Decoding-Throughput vs. Full-KV bei 128K Kontext
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.