SEAR：自进化具身机器人框架
来自 arXiv · 期号 2026-10-14
摘要
前沿语言模型 agent 已经能自己改进机器人：它们写控制代码、测试、把有效的东西存成技能和记忆，留给下一个任务。 SEAR（Self-Evolving Agentic Robotics）是一个框架兼 benchmark，围绕两个问题设计：agent 是真的在学，还是只是试得更多？学到的东西在新任务、新模拟器、真实机器人上还有用吗？ 框架让 agent 跑三种模式：写代码当策略（code-as-policy）、在控制回路里实时行动（agent-as-policy）、或者像研究员一样微调视觉-语言-动作模型（auto-research）。Benchmark 加了控制变量，把保留的经验和重复尝试、熟悉任务、特权模拟器状态、更大预算、运气区分开。 在七个前沿语言模型、330 个模拟任务和五个物理任务、累计超过四年的 agent 运行时间上，有三个发现。第一，机器人 agent 的学习曲线既取决于总时间预算，也取决于任务难度相对于模型能力。难的任务值得跑更久；简单的任务多试几次就行。第二，控制代码和共享例程能跨任务、跨模拟器迁移，但针对特定任务的方案不行。在真实机器人上，agent 设计的练习场景和人类设计的新场景之间有性能差距。第三，不同模型在不同方式下进化得更有效。有的实时行动最好，有的先写代码更好。纯文本模型和同级别的多模态模型不相上下：感知能力有助于评估错误，但 agent 推理和工具使用可能更重要。 论文附了 benchmark 和代码库。
深读
导读 这篇论文提出了一个关键问题：当语言模型 agent 声称能自己改进机器人时，它到底是真的在学习，还是只是试了更多次？SEAR 框架和 benchmark 围绕这个问题设计，通过控制变量把真正的学习与重复尝试、熟悉任务、更大预算等混淆因素区分开。读完能带走三个具体发现：学习曲线取决于任务难度与模型能力的匹配度、哪些经验能跨任务迁移、以及不同模型适合不同的进化方式。 关键信息 - SEAR 框架支持三种 agent 模式：写代码作为策略（code-as-policy）、在控制回路中实时行动（agent-as-policy）、以及自动微调视觉-语言-动作模型（auto-research）。 - Benchmark 在七个前沿语言模型、330 个模拟任务和五个物理任务上测试，累计 agent 运行时间超过四年。 - 在真实机器人上，agent 自己设计的练习场景与人类设计的新场景之间存在性能差距。 - 纯文本模型与同类多模态模型表现相当：感知能力有助于错误评估，但 agent 推理和工具使用可能更重要。 逐节讲解 核心问题：agent 真的在学习吗？ 论文从当前前沿语言模型 agent 能自主改进机器人这一现状出发，提出了两个核心问题：第一，agent 是真的在学习，还是仅仅尝试了更多次？第二，学到的经验在新任务、新模拟器、真实机器人上是否仍然有用？这两个问题构成了 SEAR 框架和 benchmark 的设计目标。 SEAR 框架：三种进化模式 框架让 agent 以三种模式运行：code-as-policy 模式中，agent 编写控制代码，代码本身成为策略；agent-as-policy 模式中，agent 在控制回路中实时决策和行动；auto-research 模式中，agent 扮演研究员的角色，微调视觉-语言-动作模型。这三种模式覆盖了从直接编程到模型微调的不同自动化程度。 Benchmark 设计：控制变量 Benchmark 的关键创新在于加入了控制变量，将保留的经验与重复尝试、熟悉任务、特权模拟器状态、更大预算和运气区分开。这意味着 benchmark 能判断 agent 的改进究竟来自真正的学习，还是来自其他因素。 三个主要发现 第一，机器人 agent 的学习曲线同时取决于总时间预算和任务相对于模型能力的难度。困难任务需要更长的尝试时间才有价值；而在简单任务上，反复进行短尝试就能取得同样效果。第二，控制代码和共享例程可以跨任务和模拟器迁移，但针对特定任务的解决方案无法迁移。第三，不同模型在不同模式下进化效率不同：有些模型在实时行动中表现最好，有些则更适合先写代码。纯文本模型与同类多模态模型表现相当，感知能力有助于错误评估，但 agent 推理和工具使用可能更为关键。 值得注意 论文基于摘要，具体实验设置、模型名称、任务细节和 benchm…