In einer 1:43-stündigen Episode des Latent Space Podcasts spricht Ethan He – ehemals NVIDIA Cosmos World Model Lead, zuletzt bei xAI als Grok Imagine Lead – über die Architektur und Strategie hinter modernen Videogenerierungsmodellen. Seine Kernthese: Videogenerierungsmodelle beziehen ihre Intelligenz primär aus LLMs, nicht aus dem Training auf Videodaten. Deshalb ist der nächste Schritt kein besseres Diffusionsmodell, sondern ein Video-Agent, der plant, generiert, editiert, kritisiert und iteriert – ähnlich wie Coding-Modelle den Weg von One-Shot-Output zu agentischen PR-Workflows gegangen sind. He beschreibt, wie ein kleines xAI-Team Grok Imagine in nur drei Monaten von null auf ein erstes multimodales Videoprodukt gebracht hat, und betont die Bedeutung von schneller Iteration und dem Finden kleiner Bugs in Daten- und Trainingspipelines. Grok Imagine Agent Mode, im April 2026 als Beta gestartet, realisiert diesen Ansatz auf einem offenen Canvas. Darüber hinaus diskutiert He die langfristige Vision von Flipbook und generativer UI als Ersatz für klassisches HTML/CSS, sowie die Rolle von Echtzeit-World-Models für Robotik und Physical AI. Er erklärt außerdem, warum er xAI inzwischen verlassen hat und seinen Fokus auf LLMs und selbstverwalteten Kontext/Memory verlagert.