Dyna-2:百万小时视频训练的世界动作模型

来自 Latent Space · 期号 2026-10-14

摘要

Dyna Robotics 联合创始人兼首席科学家 Jason Ma 详解 Dyna-2:一个在超过一百万小时人类视频上预训练的世界动作模型。 世界动作模型能预测未来视频帧,并据此生成机器人可执行的物理动作。原理类似人类大脑在行动前先想象世界会如何变化。 Dyna-2 在餐厅叠餐巾任务上达到 99.4% 的成功率,连续运行 24 小时,包括在拉倒整叠餐巾后自行恢复。机器人从 45 分钟演示中就能学会新任务。 Dyna 自研轮式半人形机器人硬件,而非使用现成的人形机器人。瓶颈在于灵巧手仍然过热,以及缺失的传感器数据。 公司已在 Best Western 和鼎泰丰实际部署,每天折叠数千条餐巾。Jason 主张规模化数据而非工程化专用方案,称之为「机器人学的苦涩教训」。

深读

导读 原文信息有限,以下基于节目简介。Dyna Robotics 联合创始人兼首席科学家 Jason Ma 详解了 Dyna-2 世界动作模型及其在真实世界的部署。如果你关心物理 AI 如何从演示走向规模化商业落地,以及数据规模法则在机器人领域的应用,这期节目值得一听。 关键信息 - Dyna-2 是在超过一百万小时人类视频上预训练的世界动作模型,能预测未来视频帧并据此生成机器人可执行的物理动作。 - 在餐厅叠餐巾任务上,Dyna-2 达到 99.4% 的成功率,可连续运行 24 小时,包括在拉倒整叠餐巾后自行恢复。 - 机器人从 45 分钟演示中就能学会新任务。 - 公司已在 Best Western 和鼎泰丰实际部署,每天折叠数千条餐巾。 - Dyna 自研轮式半人形机器人硬件,而非使用现成的人形机器人。 - 瓶颈在于灵巧手仍然过热,以及缺失的传感器数据。 逐节讲解 世界动作模型:预测未来以指导行动 Dyna-2 被定义为世界动作模型。它不仅能预测未来的视频帧(即世界模型的功能),还能基于这些预测生成机器人可在物理世界中执行的动作。Jason Ma 将其类比为人类大脑在行动前先想象世界会如何变化的机制。该模型在超过一百万小时的人类视频上进行了预训练。 从演示到部署:真实世界的长时自主 Dyna 展示了机器人如何从极少的演示(45 分钟)中学会新任务。在餐厅叠餐巾这一具体场景中,Dyna-2 达到了 99.4% 的成功率,并能连续运行 24 小时。节目简介特别提到,机器人甚至在拉倒整叠餐巾后能自行恢复,体现了其在真实环境中的鲁棒性。公司已在 Best Western 和鼎泰丰实际部署,每天折叠数千条餐巾,这被描述为从演示到规模化商业部署的跨越。 硬件选择与瓶颈:轮式半人形与灵巧手 Dyna 选择自研轮式半人形机器人,而非依赖现成的双足人形机器人。节目简介中提到了几个关键的硬件瓶颈:灵巧手仍然过热,以及缺失的传感器数据。这些是限制机器人进一步自主化和可靠性的实际工程挑战。 机器人学的苦涩教训:规模化数据而非工程化方案 Jason Ma 主张规模化数据而非工程化专用方案,称之为「机器人学的苦涩教训」。节目简介中提到了多个相关的技术方向:合成环境与自生成训练数据、扩散 transformer 与流匹配、设备端推理与模型蒸馏、以及 agentic harness(使机器人能执行长达一小时的多步骤物理工作流)。这些技术共同指向一个目标:通过数据规模而非手工工程来解决机器人泛化问题。 值得注意 由于原文仅为节目简介,缺乏对话细节,以上内容均基于简介中列出的要点和结论。简介中提到了大量技术话题(如世界动作模型 vs. 视觉-语言-动作模型、GPT-6 与编码 agent、Jason Ma 从 AlphaGo 到创立 Dyna 的经历等),但均未展开。关于 Dyna-2…

读原文

本站只做摘要与索引,全部内容版权归原作者所有。