为什么视频 agent 是下一个方向——Ethan He
来自 Latent Space · 期号 2026-06-01
摘要
xAI 前员工 Ethan He 认为，视频模型的下一个突破不是更好的生成质量，而是能规划、编辑、迭代的“视频 agent”。 他在 Latent Space 播客中解释，视频模型的大部分智能来自底层的语言模型，而非视频数据本身。就像代码生成从单次输出转向多轮 agent 系统一样，视频生成也会从“一次生成”走向“能规划、修改、测试的创作系统”。 Ethan 在 xAI 用三个月从零搭建了 Grok Imagine，强调迭代速度比会议更重要，许多质量提升来自修复数据与训练管线中的小 bug。他还讨论了生成式 UI 的未来：视频模型可能取代 HTML/CSS 成为 AI 的前端界面。 “视频 agent 几乎肯定是未来一年的趋势。”
深读
导读 原文信息有限，以下基于节目简介。xAI 前员工 Ethan He 在 Latent Space 播客中提出一个核心判断：视频模型的下一个突破不是更好的生成质量，而是能规划、编辑、迭代的“视频 agent”。他认为视频模型的大部分智能来自底层的语言模型，而非视频数据本身，并分享了从零搭建 Grok Imagine 的经验。读完能理解视频生成领域正在发生的范式转变，以及为什么迭代速度比会议更重要。 关键信息 - Ethan He 在 xAI 用三个月从零搭建了 Grok Imagine，团队规模很小。 - Ethan 认为视频模型的大部分智能来自语言模型（LLM），而非视频训练数据本身。 - 他提出视频生成将效仿 AI 编程的演进路径：从单次输出转向多轮推理与规划的系统，能规划、生成、编辑、批评、迭代整个创作任务。 - Flipbook 被 Ethan 认真对待，他认为随着推理速度和成本逐年下降，自定义视频即时 UI 的未来比想象中更近。 - 节目讨论了视频模型训练中的隐藏成本：存储、数据传输和 GPU 小时数。 逐节讲解 从 NVIDIA Cosmos 到 xAI Grok Imagine Ethan He 此前在 NVIDIA 领导 Cosmos 世界模型项目，之后加入 xAI，在三个月内从零搭建了 Grok Imagine。节目深入探讨了这个小团队如何快速交付其首个多模态视频模型，以及为什么迭代速度在模型开发中比几乎任何事情都重要。Ethan 指出，许多最大的质量提升来自修复数据和训练管线中的小 bug。 视频 agent 是下一阶段 Ethan 的核心论点是：视频模型的下一个前沿不是更好的生成质量，而是视频 agent。就像 AI 编程从关注单次输出性能和成本，转向多轮推理和规划系统（能规划、编辑、测试、调试、提交 PR），视频生成也会走向能规划、生成、编辑、批评、迭代整个创作任务的系统。他认为，当视频模型在真实感、一致性和提示遵循方面显著提升、同时成本变得更高效时，下一步进化必然是这种 agent 系统。 生成式 UI 与视频模型的未来 节目讨论了 Flipbook 和 Neural OS 等生成式 UI 方向。Ethan 认为视频生成模型可能成为 AI 的前端界面，生成式 UI 可能取代传统的 HTML/CSS。他讨论了为什么世界模型需要实时、交互且具备长程规划能力，以及为什么视频生成的未来可能更依赖语言模型和 agent，而非仅靠扩散模型。节目还涉及了音频-视频对齐（比文本-视频对齐更难）、步骤蒸馏与一致性模型（如 OpenAI sCM）如何让视频推理速度提升数个数量级，以及 xAI 文化如何塑造了开发速度。 值得注意 由于 content_source 为 shownotes，本文仅基于节目简介撰写，没有逐字稿内容。简介中列出了大量讨论话题…