TLX Block Attention ist ein von Meta (facebookresearch) entwickelter Triton-Kernel, der gezielt auf NVIDIA Blackwell GPUs ausgelegt ist und das Warp-Specialization-Feature der Architektur nutzt. Der Kernel richtet sich an Self-Attention-Szenarien mit fixer Block-Diagonal-Sparsity – eine Sparsity-Struktur, die sich z. B. in groß angelegten Ranking- und Anzeigenmodellen findet, wo Nutzer- und Item-Tokens in klar abgegrenzten Blöcken vorliegen. Durch das Ausnutzen von Compile-Zeit-Wissen über die Blockstruktur lässt sich Arbeit einsparen, die bei vollständiger Dense-Attention anfallen würde. Die Implementierung setzt auf Triton und ist im öffentlichen Repository facebookresearch/ads_model_kernel_library auf GitHub verfügbar. Der Beitrag erscheint direkt auf dem offiziellen PyTorch Blog, was auf eine enge Integration in das PyTorch-Ökosystem hindeutet.