Gemini Robotics ER 2
来自 Google DeepMind · 期号 2026-07-30
摘要
Google DeepMind 发布 Gemini Robotics ER 2，一个用于机器人的视觉-语言模型。 机器人过去只能理解单张图片，无法从连续视频中理解动作的因果关系。ER 2 能看懂视频片段，理解“先做什么、再做什么”，并协调多台机器人协作完成同一项任务。 官方称其在视频理解、工具编排和多机器人协作三项能力上相比前代有“阶跃式提升”，但未公布具体 benchmark 数字。 本文是技术公告，没有给出架构细节或开源计划。
深读
导读 Google DeepMind 发布了其最新的具身推理模型 Gemini Robotics ER 2，旨在充当机器人的“高级大脑”。该模型的核心提升在于能理解连续视频、编排多步骤任务并协调多台机器人协作，让机器人从“看懂单张图”进化到“看懂一段视频里的因果关系”。对于关注物理世界 AI 应用的从业者，这篇文章展示了当前多模态大模型在机器人领域的能力边界和演进方向。 关键信息 - Gemini Robotics ER 2 通过观看连续视频流来追踪任务进度，能在出错时实时调整，并判断何时进入下一步，而不再依赖单张静态图片。 - 在进度分类任务上，ER 2 达到 57.4% 的准确率；在精确时刻定位任务上，准确率为 91.3%，平均绝对距离为 0.96 秒，且计算成本远低于更大的模型类别，执行速度快 4 倍。 - 模型支持多机器人协作，允许不同形态的机器人（如轮式机器人和人形机器人）通过共享语义理解进行任务交接，文中展示了 Apptronik 的 Apollo 2 和 Franka F3 Duo 的协作。 - 在安全指令遵循和人类接近检测基准上，ER 2 的表现优于前代 ER 1.6 和其他前沿模型，能在检测到人靠近时暂停人形机器人，待区域清空后自主恢复工作。 - 开发者可通过 Gemini API、Google AI Studio 或 Gemini Enterprise Agent Platform 公开访问该模型，代码示例已在 GitHub 上发布。 逐节讲解 模型定位与核心能力 Gemini Robotics ER 2 被定位为机器人的“高级大脑”，负责高层推理（理解物理世界、规划多步骤任务），然后将具体的电机执行交给底层的视觉-语言-动作（VLA）模型。它原生支持调用 Google 搜索等工具，并允许机器人在执行动作的同时“思考”下一步。与前代 ER 1.6 相比，ER 2 的关键升级在于能处理连续视频输入，从而追踪自身进度、适应意外情况并准确切换任务。 工具编排与执行速度 ER 2 在工具编排方面显著优于 ER 1.6，这一能力通过三种控制模式（真实 VLA、模拟 VLA、人类远程操控）进行了评估。为了满足机器人对低延迟的要求，ER 2 集成了 Gemini Live API，使用双向流式端点进行优化，实现了流畅的任务编排，避免了“停下来思考”的停顿。文章以波士顿动力的 Spot 机器人为例，展示了通过 ER 2 编排 Spot 的导航和机械臂 API，让机器人根据自然语言指令取回物品。 视频理解与任务进度追踪 这是 ER 2 的核心技术突破，包含两个关键能力： - 连续进度分类：将视频帧中的任务进度分为五个等级（0-20%、20-40% 等），使机器人具备实时态势感知能力，能在失败步骤上重试而无需重启整个流程。ER 2 在此任务上达到 57.4%…