UC Berkeley veröffentlicht mKernel: Fused-Kernel-Library für Multi-GPU-Kommunikation
mKernel ist eine neue Open-Source-Kernel-Bibliothek, die vom UCCL-Team der UC Berkeley entwickelt wurde und gezielt die Grenzen zwischen Netzwerk-Kommunikation und GPU-Compute aufhebt. Klassische Distributed-Computing-Stacks behandeln Intra-Node-Kommunikation (via NVLink), Inter-Node-Kommunikation (via RDMA) und Rechenoperationen als separate Kernel-Aufrufe, was erhebliche Synchronisations- und Scheduling-Kosten verursacht. mKernel löst dieses Problem, indem es alle drei Schichten in einem einzigen persistenten CUDA-Kernel fusioniert. Dadurch wird die GPU zum treibenden Akteur der Kommunikation (GPU-Driven Communication), ohne dass die CPU als Vermittler eingreifen muss. Dies ist besonders relevant für Large-Scale-Training-Cluster und Inferenz-Infrastruktur, bei denen Kommunikations-Overhead häufig zum Flaschenhals wird. mKernel richtet sich damit direkt an Entwickler, die auf NVLink- und RDMA-fähiger Hardware arbeiten und die Effizienz ihrer verteilten Workloads steigern wollen.
- Entwickelt vom UCCL-Team der UC Berkeley, einem auf GPU-Kommunikation spezialisierten Forschungsteam.
- Fusioniert Intra-Node-NVLink, Inter-Node-RDMA und Dense-Compute in einem einzigen persistenten CUDA-Kernel.
- GPU-Driven Communication: die GPU übernimmt Kommunikations-Steuerung ohne CPU-Eingriff.
- Zielt auf Multi-GPU- und Multi-Node-Szenarien ab, wie sie bei LLM-Training und Inferenz üblich sind.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHpytorch.org2w
PyTorch TokenSpeed-Kernel: Portable API für Multi-Silicon LLM-Inferenz
- FORSCHUNGarxiv.org4d
Meta's KernelEvolve automatisiert Kernel-Optimierung für heterogene AI-Hardware
- LAUNCHdeveloper.nvidia.com2d
NVIDIA erklärt Kernel Fusion in CUDA zur GPU-Optimierung
- FORSCHUNGdeveloper.nvidia.com3d
NVIDIA NVSHMEM verdoppelt GPU-Skalierung in GROMACS-Molekulardynamik
UC Berkeley veröffentlicht mKernel: Fused-Kernel-Library für Multi-GPU-Kommunikation
mKernel ist eine neue Open-Source-Kernel-Bibliothek, die vom UCCL-Team der UC Berkeley entwickelt wurde und gezielt die Grenzen zwischen Netzwerk-Kommunikation und GPU-Compute aufhebt. Klassische Distributed-Computing-Stacks behandeln Intra-Node-Kommunikation (via NVLink), Inter-Node-Kommunikation (via RDMA) und Rechenoperationen als separate Kernel-Aufrufe, was erhebliche Synchronisations- und Scheduling-Kosten verursacht. mKernel löst dieses Problem, indem es alle drei Schichten in einem einzigen persistenten CUDA-Kernel fusioniert. Dadurch wird die GPU zum treibenden Akteur der Kommunikation (GPU-Driven Communication), ohne dass die CPU als Vermittler eingreifen muss. Dies ist besonders relevant für Large-Scale-Training-Cluster und Inferenz-Infrastruktur, bei denen Kommunikations-Overhead häufig zum Flaschenhals wird. mKernel richtet sich damit direkt an Entwickler, die auf NVLink- und RDMA-fähiger Hardware arbeiten und die Effizienz ihrer verteilten Workloads steigern wollen.
- Entwickelt vom UCCL-Team der UC Berkeley, einem auf GPU-Kommunikation spezialisierten Forschungsteam.
- Fusioniert Intra-Node-NVLink, Inter-Node-RDMA und Dense-Compute in einem einzigen persistenten CUDA-Kernel.
- GPU-Driven Communication: die GPU übernimmt Kommunikations-Steuerung ohne CPU-Eingriff.
- Zielt auf Multi-GPU- und Multi-Node-Szenarien ab, wie sie bei LLM-Training und Inferenz üblich sind.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHpytorch.org2w
PyTorch TokenSpeed-Kernel: Portable API für Multi-Silicon LLM-Inferenz
- FORSCHUNGarxiv.org4d
Meta's KernelEvolve automatisiert Kernel-Optimierung für heterogene AI-Hardware
- LAUNCHdeveloper.nvidia.com2d
NVIDIA erklärt Kernel Fusion in CUDA zur GPU-Optimierung
- FORSCHUNGdeveloper.nvidia.com3d
NVIDIA NVSHMEM verdoppelt GPU-Skalierung in GROMACS-Molekulardynamik