TPU Sync reduziert die mediane KV-Transfer-Latenz für Qwen3 235B von mehreren Sekunden auf ~230 ms und senkt die TTFT bei 64K-Kontext-Workloads um bis zu 90 %. Für Teams, die LLMs auf TPUs mit vLLM oder SGLang betreiben, ermöglicht die Bibliothek effizientes Prefill/Decode-Disaggregation und Prefix-Caching – APIs sind jedoch noch instabil.