PyTorch's Inductor-Compiler nutzt Kernel Fusion, um mehrere abhängige GPU-Operationen automatisch in einen einzigen Triton-Kernel zu übersetzen. Ohne Fusion erzeugt jede torch-Operation (z. B. Multiplikation, Addition, Sigmoid) einen eigenen Kernel-Launch mit eigenem Speicherzugriff. Im Beispiel des Blogposts werden drei separate Triton-Kernel (Multiply, Add, Sigmoid) zu einem einzigen fusionierten Kernel zusammengefasst: Die Eingaben werden einmalig geladen, alle drei Operationen in Folge ausgeführt, und nur das Endergebnis wird in den globalen Speicher geschrieben. Zwischenergebnisse verbleiben in schnellen GPU-Registern. Das Ergebnis: Kernel-Launches sinken von 3 auf 1, zwei Intermediate-Buffer entfallen, und der Memory-Traffic halbiert sich von 8 auf 4 Speicheroperationen. Neben der beschriebenen vertikalen Pointwise Fusion setzt Inductor auch Reduction Fusion (für Operationen wie Batch Normalization), GEMM + Epilogue Fusion (Matrix-Multiply mit angehängtem Bias/ReLU), Prologue Fusion sowie horizontale Fusion ein, bei der unabhängige Operationen wie sin(x) und cos(x) in einem einzigen Kernel parallel ausgeführt werden.