CLAP：跨形态视频世界模型作为零样本物理模拟器
来自 arXiv · 期号 2026-08-28
摘要
现有的动作条件视频模型通常只针对单一机器人形态，无法利用互联网上海量的异构视频数据来学习可泛化的物理规律。 CLAP 提出跨形态动作条件视频生成框架，在包含人类和多种机器人的大规模视频上训练。核心思路是先用潜在动作从无标签视频中学习物理先验，再通过课程学习将其锚定到末端执行器动作空间，实现零样本部署到真实任务。 在 DROID 等挑战性环境中，CLAP 达到或超过了单形态视频模型的最优水平，且通过少量样本微调后优势进一步扩大。所有代码和模型均已开源。
深读
导读 CLAP 是首个能够跨机器人形态（包括人类）训练的动作条件视频生成模型，它解决了现有视频世界模型只能针对单一机器人平台、无法利用互联网海量异构视频数据的根本局限。读完这篇论文，你能理解如何通过潜在动作和课程学习，让一个模型在从未见过的机器人上零样本执行物理预测任务，并达到甚至超越单形态专用模型的水平。 关键信息 - CLAP 在 DROID 等挑战性环境中，性能达到或超过了现有的单形态视频模型最优水平。 - 核心思路是先用潜在动作从无标签视频中学习通用物理先验，再通过课程学习将其锚定到末端执行器动作空间，实现零样本部署。 - 模型支持的动作空间包括：末端执行器位姿、语言指令和潜在动作三种。 - 覆盖的机器人形态包括：跨形态通用模型、DROID、Bridge、双臂 YAM 机器人以及 G1 人形机器人。 - 所有代码和模型均已开源，项目网站为 https://omni-clap.github.io。 逐节讲解 问题：单形态视频模型的局限 现有最先进的动作条件视频模型只能针对单一机器人形态训练，无法利用互联网上包含大量人类和不同机器人动作的异构视频数据。这些数据中蕴含了丰富的可泛化物理信号，但现有方法无法从中学习。 核心洞察与挑战 CLAP 的出发点是：普适的物理定律（如重力、碰撞、运动学）支配着时空动态，与执行动作的实体无关。然而，跨形态学习面临两个根本困难：不同机器人平台的动作表示差异巨大，且人类视频中通常没有动作标注。 解决方案：潜在动作 + 课程学习 CLAP 通过两个核心贡献解决上述挑战。第一，它使用末端执行器位姿、语言指令和潜在动作三种方式统一不同形态的动作空间。第二，它引入了一种基于课程学习的跨形态训练策略：先利用潜在动作从无标签视频中学习基础的物理先验，再将这些先验锚定到末端执行器动作空间，从而实现零样本部署到真实任务。 成果与开源 在 DROID 等挑战性环境中，CLAP 达到或超过了单形态视频模型的最优水平。通过少量样本微调，这些性能优势会进一步扩大，为训练单形态视频世界模型提供了新范式。论文最终发布了目前最全面的动作条件视频世界模型套件，覆盖多种动作空间和机器人形态，并全部开源。 值得注意 原文为论文摘要，信息有限。CLAP 的具体模型架构、训练数据规模、在 DROID 上的定量对比结果（如具体指标数值）以及课程学习的具体实现细节，在摘要中均未展开。