Der entscheidende Designgedanke hinter MTIA 300 liegt in der Beobachtung, dass Empfehlungsmodelle einen grundlegend anderen Kommunikationsbedarf haben als LLM-Training: Embedding-Tabellen können laut Meta über 99 % der Parameter eines Empfehlungsmodells ausmachen, was beim verteilten Training auf Hunderten von Beschleunigern kontinuierliche AllReduce-, AllToAll- und AllGather-Operationen erzeugt. Um den PCIe-Flaschenhals zu umgehen, integrierte Meta zwei Netzwerk-Chiplets direkt ins Accelerator-Package, die zusammen zwölf eigene 800-Gbps-RDMA-NICs enthalten und 1,2 TB/s Gesamt-I/O-Bandbreite bereitstellen. Dieselben NICs bedienen sowohl Scale-up-Traffic innerhalb eines Racks als auch Scale-out-Traffic zwischen Racks, wobei die Bandbreitenaufteilung softwareseitig änderbar ist, ohne die Hardware neu zu gestalten. Parallel dazu wurden 16 dedizierte Message Engines eingebaut, die Kollektivoperationen vollständig unabhängig vom Haupt-Compute-Grid abwickeln – inklusive Near-Memory-Hardware für Reduktionsoperationen. Diese Trennung reduziert die Compute-Degradierung bei überlappenden Workloads auf unter 0,5 %, während Meta bei der verglichenen GPU-Architektur über 20 % Degradierung gemessen hat. Die Software-Seite übernimmt HCCL, Metas eigene Collective-Communication-Library, die Kollektivoperationen in Subgraphen kompiliert, welche die Message Engines autonom ausführen – ohne weitere CPU-Beteiligung zur Laufzeit. In Produktion erreicht HCCL laut Meta bis zu 940 GB/s Kommunikationsbandbreite innerhalb eines Racks.