FlashMask-3: Mask-aware Distributed Attention für Long-Context-Training
ToolsNVIDIA Hardware
Warum es zählt
Auf einem H100 erreicht FlashMask-3 bis zu 141 % mehr TFLOPs gegenüber FlashMask und 1,80×–3,71× höheren Durchsatz vs. Megatron-Core CP; beim 118B-MoE-Training auf 128 H100s stieg der End-to-End-Durchsatz um bis zu 11 %. Direkt relevant für Teams, die Long-Context-Training (bis 128K) auf H100-Clustern skalieren.
— Lumeric Redaktion
Achieved TFLOPs vs. Baselines (Single H100, 4K–128K Context) · Spitzenwert
141%
FlashMask-3
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
FlashMask-3: Mask-aware Distributed Attention für Long-Context-Training
ToolsNVIDIA Hardware
Warum es zählt
Auf einem H100 erreicht FlashMask-3 bis zu 141 % mehr TFLOPs gegenüber FlashMask und 1,80×–3,71× höheren Durchsatz vs. Megatron-Core CP; beim 118B-MoE-Training auf 128 H100s stieg der End-to-End-Durchsatz um bis zu 11 %. Direkt relevant für Teams, die Long-Context-Training (bis 128K) auf H100-Clustern skalieren.
— Lumeric Redaktion
Achieved TFLOPs vs. Baselines (Single H100, 4K–128K Context) · Spitzenwert
141%
FlashMask-3
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.