Die GitHub-Bibliothek ai-bond/flash-attention-v100 portiert Flash Attention 2 auf Nvidia V100-GPUs, die offiziell nicht unterstützt werden, da Flash Attention ursprünglich auf Ampere und neuere Architekturen (sm80+) ausgerichtet ist. Ein Reddit-Nutzer aus r/LocalLLaMA hat mehrere synthetische Micro-Benchmarks durchgeführt und dabei je nach Konfiguration Speedups von 3× bis über 24× gegenüber der Standard-PyTorch-Attention gemessen. Besonders auffällig ist die Speicherersparnis bei größeren Sequenzen: Bei B=1, H=32, M=1024 reduziert sich der Speicherverbrauch von 691,5 MB auf 43,8 MB – ein Rückgang um 93,7 %. Der Backward-Pass profitiert dabei überproportional stark, was für Fine-Tuning-Szenarien besonders relevant ist. Der Nutzer berichtet zudem subjektiv von verkürzten Thinking-Zeiten beim Einsatz im echten Inferenz-Betrieb. Alle Tests wurden mit causal und non-causal Masken durchgeführt; Vorwärts- und Rückwärtsergebnisse wurden gegen PyTorch-Referenzwerte validiert und lagen innerhalb der akzeptierten Fehlergrenzen.