D-JEPA：决策对齐的隐空间世界模型
来自 arXiv · 期号 2026-09-21
摘要
世界模型预测动作后果时，准确率再高也不代表「哪个候选方案离目标更近」就等于「哪个方案执行起来更好」。 D-JEPA 提出一个决策对齐的隐空间世界模型：它用一个有界、置换等变的算子，同时处理候选方案相对于目标的预测特征和排序证据，在动作选择最关键的局部区域修正预训练好的预测几何结构。受限的预测器适配和共享的排序接口让这种对齐能在多种互补的预测几何之间迁移。 在 PushT 上达到 87.89% 成功率，RoboTwin 平均提升 15.04 分，物理机器人任务提升 17 分。论文附了开源代码。
深读
导读 世界模型预测动作后果的精度很高，但预测准确并不等于能选出最优动作。D-JEPA 提出一种决策对齐的隐空间世界模型，通过一个置换等变的排序算子，在动作选择最关键的局部区域修正预训练预测几何，让模型学会从执行结果中区分候选方案的优劣。在 PushT、RoboTwin 和物理机器人任务上均有显著提升，并附有开源代码。 关键信息 - 核心问题：隐空间世界模型中，预测距离目标更近的候选方案，实际执行效果可能反而比另一个候选方案更差。 - 技术方案：一个有界、置换等变的算子，同时处理候选方案相对于目标的预测特征和排序证据（ordinal evidence），在动作选择最关键的局部区域修正预训练好的预测几何结构。 - 对齐迁移：通过受限的预测器适配和共享的排序接口，决策对齐可以在多种互补的预测几何之间迁移。 - 实现方式：D-JEPA 将学到的决策结构实现在 JEPA 兼容的未来表征中，从而通过原生隐空间距离规划进行部署。 - 评估结果：PushT 任务成功率 87.89%；RoboTwin 平均提升 15.04 分；物理机器人任务提升 17 分。 逐节讲解 问题：预测准确不等于决策最优 现有隐空间世界模型（如 JEPA 类模型）能够准确预测动作的后果，但预测精度高并不保证隐空间中的距离度量能正确反映「哪个候选方案执行起来更好」。论文将此称为决策局部预测差距：在少数几个竞争执行的候选未来中，一个预测距离目标更近的方案，实际执行结果可能比另一个可用方案更差。 方法：决策对齐的隐空间世界模型 D-JEPA D-JEPA 的核心是一个有界、置换等变的算子。该算子同时处理两类输入：候选方案相对于目标的预测特征，以及从执行结果中获得的排序证据（ordinal evidence）。它通过联合推理，在动作选择最关键的局部区域（即竞争执行的少数候选方案之间）修正预训练好的预测几何结构，使模型学会区分哪些候选方案更值得执行。 为了将这种对齐推广到多种互补的预测几何之间，D-JEPA 采用受限的预测器适配和共享的排序接口。前者限制对预训练预测器的改动范围，后者提供一个统一的排序接口，使得在不同预测几何上学到的决策结构可以互相迁移。 最后，D-JEPA 将学到的决策结构实现在 JEPA 兼容的未来表征中，使得模型可以通过原生的隐空间距离规划直接部署，无需额外设计决策模块。 评估：覆盖多种控制与机器人任务 论文在隐空间控制、操作任务、预训练动作生成模型、物理机器人和自动驾驶等多个场景上评估了 D-JEPA。关键结果包括：PushT 任务成功率 87.89%；RoboTwin 基准平均提升 15.04 分；物理机器人任务提升 17 分。这些结果说明，引入决策相关的排序结构可以作为预测世界模型与有效控制之间的直接桥梁。 值得注意 原文为论文摘要，仅 1436 字符，内容高度浓缩。D-JEPA…