Das QwenLM-Team hat FlashQLA (Flash Qwen Linear Attention) als Open-Source-Kernel-Bibliothek veröffentlicht, die speziell auf die Beschleunigung von Gated Delta Network (GDN) Chunked Prefill ausgelegt ist. Im Fokus stehen sowohl der Forward- als auch der Backward-Pass, was die Bibliothek sowohl für das Training großer Sprachmodelle als auch für die Inferenz relevant macht. Als Zielplattform dienen NVIDIA Hopper GPUs – also H100 und verwandte Architekturen – auf denen FlashQLA einen Speedup von bis zu 3× gegenüber Referenzimplementierungen erreicht. Lineare Attention-Mechanismen gelten als vielversprechende Alternative zur klassischen Softmax-Attention, da sie die quadratische Komplexität bei langen Kontexten vermeiden. GDN erweitert dieses Konzept um Gating-Mechanismen, die die Ausdrucksstärke erhöhen. FlashQLA adressiert explizit Edge-seitige agentische Inferenz-Szenarien – ein wachsendes Einsatzfeld für kompakte, schnelle Modelle außerhalb der Cloud-Infrastruktur.