H-JEPA：层级世界模型的端到端学习
来自 arXiv · 期号 2026-10-06
摘要
长期规划需要模型在多个时间尺度和抽象层级上推理。 现有 JEPA 世界模型要么只在一个时间尺度上预测，要么把多个时间尺度塞进同一个隐空间。H-JEPA 的做法是训练一组层级化的动作条件 JEPA：每一层在自己的隐空间里预测更远的未来。规划从上往下走——顶层优化朝向目标的进度，每一层的预测成为下一层规划器的子目标。 当数据中的因素以不同速度演化时，高层会丢弃快速变化的不可预测细节，只保留慢速的任务相关状态。在四个模拟导航和操作环境中，层级规划优于扁平 JEPA；在 Visual AntMaze 上，三层层级结构用更少的规划算力把成功率从 18% 提升到 73%。消融实验表明，收益来自时间分解和高层目标表征两方面。 加上逆动力学监督后，该方法还能泛化到 DROID 数据集中的真实机器人视频，用更少的规划算力提升了离线规划质量。
深读
导读 长期规划是世界模型的核心难题：模型需要同时在多个时间尺度和抽象层级上推理。H-JEPA 提出了一种端到端训练层级化世界模型的方法，让每一层在自己的隐空间里预测更远的未来，规划从上往下走。读完能理解层级化预测为什么比扁平结构更高效，以及它在模拟环境和真实机器人视频上的具体收益。 关键信息 - 现有 JEPA 世界模型要么只在一个时间尺度上预测，要么把多个时间尺度塞进同一个隐空间。H-JEPA 训练一组层级化的动作条件 JEPA，每一层在自己的隐空间里预测更远的未来。 - 规划流程是自上而下的：顶层优化朝向目标的进度，每一层的预测成为下一层规划器的子目标。 - 当数据中的因素以不同速度演化时，高层会丢弃快速变化的不可预测细节，只保留慢速的任务相关状态。 - 在 Visual AntMaze 上，三层层级结构用更少的规划算力把成功率从 18% 提升到 73%。 - 消融实验表明，收益来自时间分解和高层目标表征两方面。 - 加入逆动力学监督后，该方法能泛化到 DROID 数据集中的真实机器人视频，用更少的规划算力提升了离线规划质量。 逐节讲解 问题与现有方法的局限 长期规划要求世界模型在多个时间尺度和抽象层级上推理。现有的任务无关 JEPA 世界模型存在两个问题：要么只在一个时间尺度上做预测，要么把多个时间尺度塞进同一个共享的隐空间。这两种做法都无法有效分离不同速度演化的因素。 H-JEPA 的核心设计 H-JEPA 的训练方法是端到端地训练一组层级化的动作条件 JEPA。每一层在自己的隐空间里预测更远的未来。规划流程是自上而下的：顶层优化朝向目标的进度，每一层的预测成为下一层规划器的子目标。当数据中的因素以不同速度演化时，高层会丢弃快速变化的不可预测细节，只保留慢速的任务相关状态。这种设计让模型自然地在不同层级上分离了不同时间尺度的信息。 实验验证与消融 论文在四个模拟导航和操作环境中验证了层级规划优于扁平 JEPA。在 Visual AntMaze 上，三层层级结构用更少的规划算力把成功率从 18% 提升到 73%。消融实验进一步表明，收益来自两个因素：时间分解（将不同时间尺度的预测分开）和高层目标表征（高层提供更抽象、更稳定的目标）。加入逆动力学监督后，该方法还能泛化到 DROID 数据集中的真实机器人视频，在更少的规划算力下提升了离线规划的质量。 值得注意 原文是论文摘要，只给出了方法的高层思想和关键实验结果，没有展开具体的网络架构、训练细节、超参数设置以及与其他层级化世界模型方法的定量对比。这些细节需要阅读全文才能获得。