Runway 的 WorldPrompt 与实时世界工程
来自 Latent Space · 期号 2026-09-25
摘要
Runway 发布 GWM Worlds 2 研究预览，核心新功能是 WorldPrompt——一种用自然语言指定生成世界和实时动作的输入格式。 CTO Kamil Sindi 和首席研究科学家 Robin Kahlow 解释了它的工作方式：模型经过微调学会遵循 WorldPrompt 格式，再通过后训练实现自回归生成，最后用蒸馏方法（减少去噪步数或蒸馏为小模型）达到实时性能。 实时生成面临三大挑战：自回归模型的误差累积（生成帧被喂回模型产生下一帧，小错误随时间放大）、GPU 内存管理（需要决定保留和丢弃哪些上下文）、以及长期记忆缺失。 模型目前以 720p 24fps 和 48kHz 音频流式输出。联合 CEO Anastasis Germanidis 表示，从双向扩散改为自回归生成是让模型逐帧生成的关键。 “这还是一个研究预览，并不完美，”Kahlow 说，“动作的可靠性取决于难度，移动指令相当可靠。”
深读
导读 原文信息有限，以下基于节目简介。Runway 发布了其世界模型 GWM Worlds 2 的研究预览，核心新功能是 WorldPrompt——一种用自然语言指定生成世界和实时动作的输入格式。本期节目邀请了 CTO Kamil Sindi 和首席研究科学家 Robin Kahlow 解释其工作原理，值得关注的是实时生成面临的自回归误差累积、GPU 内存管理和长期记忆缺失三大挑战。 关键信息 - Runway 最新估值 53 亿美元，2026 年 2 月完成 3.15 亿美元融资。 - GWM Worlds 2 以 720p 分辨率、24fps 帧率和 48kHz 音频流式输出实时交互世界。 - 模型从双向扩散改为自回归生成，是让模型逐帧生成的关键。 - 实时性能通过蒸馏方法实现：将大模型蒸馏为小模型，或将去噪步数从约 50 步减少到 4 步。 - 自回归模型面临误差累积问题，生成的帧被喂回模型产生下一帧，小错误随时间放大。 逐节讲解 世界模型与实时生成领域现状 Runway 是世界模型公司，其首个版本 GWM Worlds 于 2025 年 12 月发布。在实时交互视频生成领域，还有 Google DeepMind 的 Genie 3（同样支持 720p 和 24fps）、Odyssey-2 Pro 以及 World Labs 的 RTFM 等项目。由于实时视频和音频生成对延迟要求极高，所有这些项目都有局限性，例如 Google 指出 Genie 3“目前只能支持几分钟的连续交互，而非数小时”。 WorldPrompt 的核心思路 WorldPrompt 是 GWM Worlds 2 的新功能，可视为角色、镜头和环境的控制层。它是一种提示机制而非编程语言，因此不像 Minecraft 或 Roblox 那样提供脚本能力或状态控制。但 CTO Sindi 指出，其优势在于可以按需创建可提示的世界，视频和音频同步，覆盖多种领域和环境。不过模型对指令的遵循程度取决于动作的难度——Kahlow 表示“移动的可靠性相当不错”，但整体仍是研究预览，并不完美。 从视频模型到实时运行引擎 实现实时生成需要解决两个挑战：让模型逐帧生成而非一次性生成整个片段，以及让生成速度足够快以实现实时播放。Runway 的做法是：先将基础音视频生成模型微调以适应 WorldPrompt 格式，然后通过后训练使模型具备自回归生成能力，最后通过蒸馏方法实现实时性能。联合 CEO Germanidis 描述了两种蒸馏路径：将大模型蒸馏为小模型，或减少扩散步数，例如从约 50 步减少到 4 步，虽有一定质量损失但结果可比。 实时生成面临的挑战 Germanidis 指出自回归模型最大的挑战是误差累积：生成的帧被喂回模型产生下一帧，小错误随时间放大。Sindi 补充了 GPU 内存管理问题，需要…