Show-Harness：VLM agent 也能玩机器
来自 arXiv · 期号 2026-09-10
摘要
让大模型直接控制机器人，难点在于模型输出的语义指令与底层物理动作之间存在鸿沟。 Show-Harness 提出一个紧凑的语义接口：把机器人动作拆成离散的语义单元（如“抓取”“移动”），大模型只负责在这些单元上做推理，再由特定于机器人的解释器把语义单元映射成实际动作。这样，闭源前沿 VLM 可以零样本控制机器人，开源小模型也只需几 GPU 小时的微调就能部署。 论文还做了 GUMI，把同一套语义接口扩展到 GUI 操作，让人和 agent 都能通过图形界面“玩”机器人，无需专用遥操作硬件。实验显示，装上 Show-Harness 的 VLM agent 在多种任务、机器人和环境中都优于现有的 agent 和 VLA 方案。 论文附了开源代码。
深读
导读 这篇论文提出了一种名为 Show-Harness 的接口方案，旨在弥合视觉语言模型（VLM）的语义理解能力与机器人底层物理控制之间的鸿沟。其核心思路是将机器人动作抽象为离散的语义单元，让 VLM 直接在这些单元上推理，再由专用解释器映射为实际动作。读完本文可以了解一种无需大规模预训练或专用硬件，即可让前沿 VLM 零样本控制机器人、让开源小模型低成本部署的可行路径。 关键信息 - Show-Harness 将机器人动作拆解为离散的语义动作单元（如“抓取”“移动”），VLM 只负责在这些单元上推理，再由特定于机器人的解释器将其映射为底层物理动作。 - 该接口支持闭源前沿 VLM 实现零样本机器人控制，也支持开源小模型仅需数 GPU 小时微调即可低成本部署。 - 论文还提出了 GUMI（GUI Manipulation Interface），将同一套语义动作空间扩展到基于 GUI 的演示收集，让人和 agent 无需专用遥操作硬件即可“玩”机器人。 - 实验表明，配备 Show-Harness 的 VLM agent 在多种任务、机器人形态和环境中均优于代表性的 agent 和 VLA（Vision-Language-Action）方案。 逐节讲解 问题与核心思路 论文指出，基础视觉语言模型（VLM）具备广泛的世界知识，但将这些知识转化为机器人控制指令存在困难。Show-Harness 的核心思路是设计一个紧凑的语义接口：将机器人动作抽象为离散的语义动作单元（semantic action units），VLM 可以自然地在其上进行推理；而特定于机器人形态的解释器（embodiment-specific interpreters）则将这些语义单元确定性地映射为本地机器人动作。这样，VLM 仍然直接负责细粒度的物理决策。 两种部署路径 通过同一接口，Show-Harness 展示了两种可行性：一是直接解锁闭源前沿 VLM，使其能够零样本控制机器人；二是适配小型开源 VLM，仅需数 GPU 小时的微调即可实现低成本部署。这意味着无需为每种机器人形态从头训练专用模型。 GUMI 接口与实验结论 论文进一步开发了 GUMI（GUI Manipulation Interface），将同一套语义动作空间扩展到基于图形界面的演示收集。这使得人类和 agent 无需专用遥操作硬件，即可通过 GUI 控制不同形态的机器人。大量实验显示，配备 Show-Harness 的 VLM agent 在多种任务、机器人形态和环境中均表现出良好的泛化能力，性能优于代表性的 agent 和 VLA 范式。论文结论是，合适的接口可以充分释放基础 VLM 的具身能力，而无需额外的模型容量或昂贵的形态专用预训练。 值得注意 本文是一篇论文摘要，内容仅覆盖了论文声称的方法和结论，没有提供任何实验…