LeVJEPA：高效可扩展的视频预训练
来自 arXiv · 期号 2026-08-28
摘要
视频自监督学习一直很贵：现有方法要么靠 EMA 编码器 + stop-gradient + 容量受限预测器来防止表征坍缩，要么在像素空间做掩码重建。 LeVJEPA 把这两套都扔了。它用 LeJEPA 的无坍缩目标训练单个编码器，只靠一个全局-局部视图的不变损失加 SIGReg 正则化来保证不坍缩，架构简化为编码器 + 投影器，超参数只剩一个。 代价由编码器看到的 token 数决定：均匀随机丢弃 token 既降低计算量又提升下游精度。在相同数据、相同 epoch 下，LeVJEPA 以 5.6 到 20.8 倍更少的预训练计算量追平或超过 V-JEPA 2；在匹配总 FLOPs 时，它在 ImageNet-1K 上比最强视频基线高 7.6 个点，在运动中心 benchmark 上也不差。 由于分支间不需要不对称，编码器可以用 block-causal attention 训练而不损失精度：时序顺序成了编码器自身的属性。与在相同视频帧上训练的 DINOv2 相比，LeVJEPA 在外观中心评测上接近图像预训练编码器，运动中心精度则几乎翻倍。 论文附了开源代码。
深读
导读 视频自监督学习长期受困于高计算成本，现有方法依赖复杂的架构不对称（EMA编码器、stop-gradient、容量受限预测器）或像素级掩码重建来防止表征坍缩。LeVJEPA 提出一种极简替代方案：用 LeJEPA 的无坍缩目标训练单一编码器，仅靠全局-局部视图的不变损失加 SIGReg 正则化，将架构简化为编码器+投影器、超参数压缩至一个。它用 5.6 到 20.8 倍更少的预训练计算量追平或超越 V-JEPA 2，并在匹配总 FLOPs 时比最强视频基线高 7.6 个点，证明视频可以成为通用视觉预训练的高效基材。 关键信息 - LeVJEPA 的预训练成本由编码器看到的 token 数决定；均匀随机丢弃 token 在降低计算量的同时提升下游精度。 - 在相同数据、相同 epoch 下，LeVJEPA 以 5.6 到 20.8 倍更少的预训练计算量匹配或超越 V-JEPA 2（ViT-S/B/L 规模）。 - 匹配总 FLOPs 时，LeVJEPA 在 ImageNet-1K 上比最强视频基线高 7.6 个点，在运动中心 benchmark 上保持竞争力。 - 由于分支间不需要不对称，编码器可用 block-causal attention 训练而不损失精度，时序顺序成为编码器自身的属性。 - 与计算量匹配的 DINOv2（在相同视频帧上训练）相比，LeVJEPA 在外观中心评估上接近图像预训练编码器，在运动中心精度上几乎翻倍。 逐节讲解 问题：视频自监督学习为何昂贵 现有主流视频自监督方法依赖两种策略来防止表征坍缩：一是通过架构不对称（EMA 目标编码器 + stop-gradient + 容量受限预测器），二是在像素空间做掩码重建。两者都带来显著的计算开销，使得视频预训练长期成本高昂。 方案：LeVJEPA 的极简架构 LeVJEPA 采用 LeJEPA 的无坍缩目标，完全抛弃了上述两种策略。它只用一个编码器，通过一个全局-局部视图的不变损失（invariance loss）加上 SIGReg 正则化来保证不坍缩（有可证明的保证）。整个架构简化为编码器 + 投影器，目标函数只有一个超参数。这种设计带来两个关键性质：第一，预训练成本由编码器看到的 token 数决定，均匀随机丢弃 token 可以大幅降低计算量并提升下游精度；第二，由于分支间不需要不对称，编码器可以用 block-causal attention 训练而不损失精度，时序顺序直接嵌入编码器本身。 实验结果：效率与精度双赢 在相同数据、相同 epoch 下，LeVJEPA 在 ViT-S/B/L 三种规模上以 5.6 到 20.8 倍更少的预训练计算量匹配或超越 V-JEPA 2。在匹配总 FLOPs 时，它在 ImageNet-1K 上比最强视频基线高 7.6 个点，在运动中心 ben…