Zai hat auf einem Cluster mit tausend GPUs die Netzwerkarchitektur für die Produktions-Inferenz von GLM-5.1 (Coding) ausgetauscht – von der bisher genutzten ROFT-Topologie hin zu einem selbst entwickelten System namens ZCube, das in Zusammenarbeit mit der Tsinghua University und HarnetsAI entstand. Das Kernanliegen: Bei Prefill-Decode-disaggregierter Inferenz entstehen hochasymmetrische KV-Cache-Transfers zwischen Nodes. ROFT wurde für Trainings-Workloads konzipiert, dessen statisches Rail-Mapping passt aber schlecht zu den dynamischen Traffic-Mustern der PD-Disaggregation – die Folge sind Hotspots auf einzelnen Leaf-Switches und PFC-Backpressure. ZCube löst das Problem durch eine vollständig abgeflachte Topologie: Die Spine-Schicht entfällt komplett, stattdessen wird ein vollständig bipartites Interconnect zwischen zwei Switch-Gruppen genutzt. Die Produktionsmessungen auf identischer Hardware und identischem Software-Stack zeigen: Switch- und Optikkosten sanken um 33 %, GPU-Inferenz-Throughput stieg um 15 %, und die P99-Tail-Latenz auf den ersten Token fiel um 40,6 %. Bemerkenswert ist, dass bessere Netzwerkperformance hier ausnahmsweise mit niedrigeren, nicht höheren Hardwarekosten einhergeht.