Der Hugging-Face-Blogpost ist der zweite Teil einer Serie über effiziente LLM-Inferenz und zeigt, wie synchrones Continuous Batching trotz optimierter Batch-Planung erhebliche Rechenzeit verschwendet. Im getesteten Setup – ein 8B-Modell auf einer H200 GPU, Batch-Größe 32, 8.192 generierte Token – dauerte die Gesamtgenerierung 300,6 Sekunden, davon 24 % mit idle GPU. Durch asynchrones Batching ließe sich diese Zeit auf ca. 228 Sekunden senken. Der Kern der Lösung: CUDA-Streams erlauben unabhängige, parallele GPU-Operationsqueues, während CUDA-Events die Synchronisation zwischen Streams ohne Blockierung der CPU ermöglichen. So kann die CPU Batch N+1 vorbereiten, während die GPU Batch N berechnet. Kritische Herausforderungen wie Race Conditions und Carry-over-Effekte (Abhängigkeit von Sampling-Ergebnissen des Vorgänger-Batches) werden detailliert behandelt. Die beschriebene Implementierung wurde als Teil des Continuous-Batching-Codes in der Transformers-Bibliothek umgesetzt und ist öffentlich einsehbar. Autoren sind Rémi Ouazan Reboul, Pedro Cuenca und Aritra Roy Gosthipaty.