Auf der Google Cloud Next präsentierten NVIDIA und Google gemeinsam ihre aktualisierte Infrastrukturstrategie zur Senkung der Kosten für KI-Inferenz im großen Maßstab. Im Mittelpunkt stehen die neuen A5X Bare-Metal-Instanzen, die auf NVIDIAs Vera Rubin NVL72-Rack-Scale-Systemen basieren – einer Architektur, die einen gesamten Serverrack als kohärente Recheneinheit behandelt. Die NVL72-Bezeichnung deutet auf 72 miteinander verbundene GPUs pro Rack hin, was eine außergewöhnlich hohe Speicherbandbreite und Interconnect-Dichte ermöglicht. Der angestrebte Kostenvorteil von bis zu 10× gegenüber herkömmlichen Inferenz-Setups soll durch enge Hardware-Software-Codesign-Abstimmung erreicht werden – also durch optimierte Treiber, Compiler-Pfade und Netzwerk-Stacks, die speziell auf diese Rack-Architektur zugeschnitten sind. Bare-Metal-Instanzen bedeuten dabei, dass Kunden direkten Zugriff auf die Hardware erhalten, ohne Virtualisierungsoverhead, was gerade bei latenzsensibler Inferenz einen messbaren Vorteil bringen kann. Google Cloud fungiert als erster Cloud-Anbieter, der diese Instanzen anbietet, was die enge strategische Partnerschaft der beiden Unternehmen im Rechenzentrumsbereich unterstreicht. Die Ankündigung reiht sich in einen breiteren Wettbewerb unter Cloud-Anbietern ein, die zunehmend eigene oder co-entwickelte KI-Chips und Systemarchitekturen einsetzen, um Inferenzkosten als Differenzierungsmerkmal zu nutzen.