RAPID：从一次演示生成机器人程序
来自 arXiv · 期号 2026-09-25
摘要
机器人编程通常需要专家手写代码或大量演示数据。 RAPID 只需一次人类演示视频，就能自动生成、验证并优化机器人程序。它从演示中自动推断出三个关键要素：可测试的任务规范、机器人执行的动作原语、以及用于程序执行和验证的交互环境。 为了让程序能复用到新场景，RAPID 采用以物体为中心的关系程序表示：动作原语被表达为轨迹优化程序，实现物体级别的运动效果；再通过关系约束在运行时捕捉场景几何信息，将原语组合起来。 在仿真中，RAPID 在八项高难度非抓取操作任务和 LIBERO-Pro 基准的通用抓取任务上表现良好，并成功部署到真实 Franka 机械臂上完成全部八项非抓取任务。它能泛化到物体姿态、形状、材质和环境的改变。 论文附有开源代码和演示视频。
深读
导读 机器人编程通常需要专家手写代码或大量演示数据。RAPID 提出一种新方法：仅凭一次人类演示视频，就能让 AI 编程智能体自动生成、验证并优化可复用的机器人程序。读完本文能了解 RAPID 的核心思路，以物体为中心的关系程序表示，以及它在高难度非抓取操作任务上的实测表现。 关键信息 - RAPID 只需一次视觉人类演示，就能自动推断出三个关键要素：可测试的任务规范、机器人执行的动作原语、以及用于程序执行和验证的交互环境。 - 动作原语被表达为轨迹优化程序，实现物体级别的运动效果；原语之间通过关系约束在运行时捕捉场景几何信息进行组合。 - 在仿真中，RAPID 在八项高难度接触式非抓取操作任务以及 LIBERO-Pro 基准的通用抓取任务上表现良好。 - 在真实 Franka 机械臂上，RAPID 成功完成了全部八项非抓取操作任务，并能泛化到物体姿态、形状、材质和环境的改变。 - 论文附有开源代码和演示视频。 逐节讲解 问题与动机 现有的编程智能体在解决复杂编程问题上取得了巨大成功。RAPID 的目标是将这一能力迁移到机器人系统：给定一次视觉人类演示，自动生成、验证并优化机器人程序。实现这一迭代式智能体循环需要三个关键要素：可测试的任务规范、机器人执行的动作原语、以及用于程序执行和验证的交互环境。RAPID 从演示中自动推断出全部三者。 核心方法：以物体为中心的关系程序表示 为了让生成的程序能复用到新场景，RAPID 没有直接模仿演示中的具体运动轨迹，而是采用以物体为中心的关系程序表示。它关注演示策略的底层结构：动作原语被表达为轨迹优化程序，实现物体级别的运动效果；原语之间通过关系约束在运行时捕捉场景几何信息，从而组合成完整的任务程序。这种表示方式使程序能够脱离演示时的具体场景配置。 实验评估 RAPID 在仿真环境中评估了两类任务：八项高难度接触式非抓取操作任务，以及 LIBERO-Pro 基准中的通用抓取任务。此外，研究团队将 RAPID 成功部署到真实的 Franka 机械臂上，完成了全部八项非抓取操作任务。在所有实验中，RAPID 展现出对物体姿态、形状、材质和环境变化的泛化能力。 值得注意 原文为论文摘要，信息有限。RAPID 的具体实现细节（如轨迹优化程序的具体形式、关系约束的表示方法、智能体循环中代码生成与验证的具体流程）在摘要中未展开。此外，实验的定量结果（如成功率、泛化测试的具体设置）也未给出。