Mistral 发布 Robostral
来自 Mistral AI · 期号 2026-07-08
摘要
机器人导航通常依赖多种传感器，成本高且部署复杂。 Mistral 新发布的 Robostral Navigate 模型只用一颗普通 RGB 摄像头就能完成室内导航任务，在 R2R-CE 基准上达到 76.6% 的成功率。 模型参数量为 8B，不需要深度传感器、激光雷达或多摄像头系统。
深读
导读 机器人导航通常依赖激光雷达、深度传感器或多摄像头系统，成本高且部署复杂。Mistral AI 新发布的 Robostral Navigate 模型仅凭一颗普通 RGB 摄像头和 8B 参数，就在室内导航基准 R2R-CE 上达到了 76.6% 的成功率，超越了依赖多种传感器的方案。这篇文章介绍了该模型的核心技术，基于指向的导航、纯仿真数据训练和高效的 token 压缩算法，值得关注的是它如何用轻量级方案挑战了“传感器越多越好”的行业惯例。 关键信息 - 模型参数量为 8B，仅使用一颗普通 RGB 摄像头，无需深度传感器、激光雷达或多摄像头系统。 - 在 R2R-CE（Room-to-Room in Continuous Environments）验证集 unseen 上达到 76.6% 的成功率，在验证集 seen 上达到 79.4%。 - 比最佳单摄像头方案高出 9.7 个百分点，比使用深度或多摄像头的最佳系统高出 4.5 个百分点。 - 训练数据全部在仿真环境中生成，包含约 240 万条轨迹，覆盖 35 万种场景。 - 采用基于前缀缓存（prefix-caching）的树形注意力掩码策略，将训练 token 数减少 22 倍，将数月训练缩短至数天。 - 使用在线强化学习算法 CISPO 进行后训练，单独提升了 3.2% 的成功率，且未见性能饱和。 逐节讲解 模型概览与性能 Robostral Navigate 是 Mistral AI 首个面向具身导航的模型。它接收 RGB 图像和自然语言指令（如“离开大厅，穿过走廊，进入储藏室，停在第二个架子前”），自主控制机器人完成导航任务。在 R2R-CE 这一室内连续环境指令跟随基准上，模型在 unseen 场景（训练未见过）达到 76.6% 成功率，seen 场景达到 79.4%。这一成绩超过了所有已知方案，包括使用深度传感器或激光雷达的系统。 核心技术：基于指向的导航 模型的核心导航策略是“指向”（pointing）：给定当前任务和历史观测，模型推断目标位置在当前摄像头画面中的图像坐标，以及到达后的期望朝向。这种方法不依赖公制位移，因此对摄像头内参和世界尺度的变化天然鲁棒。当目标位置不在当前视野内时，模型回退到局部坐标系下的位移指令（如“向前 2 米，向左 1.5 米，左转 25 度”）。 训练流程：仿真数据与高效算法 模型完全由 Mistral AI 内部构建，不依赖现有开源视觉语言模型。初始化自一个专精于指向、计数和物体定位的视觉语言模型，导航能力被视为这些基础能力的自然延伸。训练数据全部在仿真环境中生成，包含约 240 万条轨迹、覆盖 35 万种场景。训练采用基于前缀缓存的树形注意力掩码策略，将整个 episode 压缩为单一序列，在单次前向传播中完成所有时间步的训练，同时防止时间步间的信息泄漏。…