多模态具身智能体：从计算机使用到机器人使用
来自 arXiv · 期号 2026-10-22
摘要
多模态智能体（MMA）在计算机屏幕上操作，机器人系统（RS）在物理世界中行动。两者都依赖推理、记忆、工具和反馈，但物理环境带来了根本性的不同。 论文提出 PAPAV 框架，将多模态具身智能体（MMEA）的能力拆解为五个功能：感知当前状态、预判动作效果、规划可行路径、通过接口或身体执行、验证结果。这五个能力按功能而非架构定义，让 MMA、RS 和 MMEA 三者可以在同一张表上比较。 物理环境给 MMEA 施加了五重约束：部分可观测、动作效果不确定、错误不可逆、反馈延迟、结果难以验证。这些约束意味着更少的事先固定方案、更小的纠错余地。 在 64 个 benchmark 中，显式评测集中在执行（Act）上；只有 5 个评测预判（Anticipate），3 个评测验证（Verify）。这两个能力几乎完全被任务成功率掩盖。PAPAV 因此主张：设计可靠的物理智能体，应该同时衡量全部五个能力，而不是只看任务是否完成。
深读
导读 这篇论文试图回答一个根本问题：当多模态智能体从操作计算机屏幕转向操作物理世界时，能力要求发生了什么变化？它提出了一个统一的五能力框架（PAPAV），让计算机操作智能体、机器人系统和多模态具身智能体可以在同一张表上比较，并指出当前评测体系严重偏科，执行能力被过度关注，而预判和验证能力几乎被忽略。 关键信息 - 论文定义了多模态具身智能体（MMEA）为「将多模态任务推理与物理行动耦合，并根据反馈修正决策」的目标导向系统。 - 提出的 PAPAV 框架包含五个功能：感知当前状态（Perceive）、预判动作效果（Anticipate）、规划可行路径（Plan）、通过接口或身体执行（Act）、验证结果（Verify）。 - 物理环境给 MMEA 施加了五重约束：部分可观测、动作效果不确定、错误不可逆、反馈延迟、结果难以验证。 - 在 64 个 benchmark 中，显式评测集中在执行（Act）上；只有 5 个评测预判（Anticipate），3 个评测验证（Verify）。 逐节讲解 从计算机操作到物理操作：核心问题 论文首先区分了三类系统：多模态智能体（MMA）通过推理、记忆、工具和反馈维持交互，最典型的代表是计算机操作智能体；机器人系统（RS）在物理动力学下耦合感知与执行；多模态具身智能体（MMEA）则是两者的结合，它既要做多模态任务推理，又要执行物理行动，并根据反馈修正决策。由此引出核心问题：当智能体从计算机操作转向机器人操作时，什么变了？ PAPAV 框架：按功能而非架构定义能力 论文提出 PAPAV 框架，将 MMEA 的能力拆解为五个按功能定义、而非按架构定义的模块：感知当前状态、预判动作效果、规划可行路径、通过接口或身体执行、验证结果。这种定义方式让 MMA、RS 和 MMEA 三者可以在同一张表上比较，它们都包含这五类功能，只是实现方式和约束条件不同。 物理环境的五重约束 物理环境给 MMEA 施加了五重约束：部分可观测（传感器无法获取全部信息）、动作效果不确定（物理世界充满不可预测性）、错误不可逆（物理损坏无法撤销）、反馈延迟（传感器和执行器之间存在时延）、结果难以验证（某些任务的成功与否无法自动判断）。这些约束意味着更少的事先固定方案、更小的纠错余地。 评测体系的偏科与开放挑战 论文调查了 64 个 benchmark，发现显式评测几乎全部集中在执行（Act）上；只有 5 个评测预判（Anticipate），3 个评测验证（Verify）。这两个能力几乎完全被任务成功率掩盖。PAPAV 因此主张：设计可靠的物理智能体，应该同时衡量全部五个能力，而非仅看任务成功率。论文还指出，这些约束也构成了当前开放挑战的基础。 值得注意 原文信息有限，以下基于论文摘要。论文声称 PAPAV 框架能统一比较三类系统，但摘要中并未展示具体的比较结果或案例，因…