Tev：用密集进度奖励扩展长周期 agent 环境
来自 arXiv · 期号 2026-10-14
摘要
长周期 agent 能自主工作数小时到数天，但开源模型一直做不好，因为缺训练数据和训练方法：长任务难收集、难验证，奖励信号又稀疏。 这篇论文两头都解决了。先造了一个叫 Tev-Gym 的训练数据集——1170 个可验证的任务环境，覆盖 7 个领域。做法是「先建潜在世界」：把任务领域、工作流、每一步之后的预期状态都写成一份完整且正确的隐藏规格，再从这个规格逐步渲染出 agent 可见的环境。这样既能控制复杂度，又能自然得到一个进度度量。 然后把这个进度度量变成训练方法：通过 progress-potential reward shaping（PPRS），把进度信号转成每一步的密集奖励，让原本训练不了的任务变得可训。 用这套方法训出的 Tev-27B，在 Agents' Last Exam 的计算与数学科学（ALE-CM）上，Pass@5 追平了 GPT-6 Astra 和 Claude Opus 5。虽然只用了 ALE 相关数据训练，在 Terminal-Bench 3.0 和 4.0 上也能超过 GLM 5.2 和 Gemini 3.7 Flash，在中长周期任务（TB 2.1）上达到 Claude Opus 4.8 的水平。 论文附了开源代码和数据集。
深读
导读 长周期 agent（能自主工作数小时到数天）是通往自动发现和递归自我改进的关键能力，但开源模型一直做不好，核心瓶颈在于缺乏训练数据和有效的训练方法。这篇论文同时解决了这两个问题：它造了一个包含 1170 个可验证任务环境的数据集 Tev-Gym，并提出了一套将进度信号转化为密集奖励的训练方法 PPRS。用这套方法训出的 Tev-27B 在 Agents' Last Exam 的计算与数学科学子集上追平了 GPT-6 Astra 和 Claude Opus 5。 关键信息 - Tev-Gym 包含 1170 个可验证的长周期 agent 任务环境，覆盖 7 个领域。 - 数据集采用「先建潜在世界」方法：先构造一份完整且正确的隐藏规格（包含任务领域、工作流、每一步后的预期状态），再逐步渲染出 agent 可见的环境。 - 提出的 progress-potential reward shaping（PPRS）将进度信号转化为每一步的密集奖励，使原本因奖励稀疏而无法训练的任务变得可训。 - 训出的 Tev-27B 在 Agents' Last Exam 的计算与数学科学（ALE-CM）子集上，Pass@5 追平了 GPT-6 Astra 和 Claude Opus 5。 - 尽管只用了 ALE 相关数据训练，Tev-27B 在 Terminal-Bench（TB）3.0 和 4.0 子集上超越了 GLM 5.2 和 Gemini 3.7 Flash，并在中等周期任务（如 TB 2.1）上达到 Claude Opus 4.8 水平。 逐节讲解 问题：开源模型在长周期任务上落后 长周期 agent 能自主工作数小时到数天，对自动发现和递归自我改进（RSI）至关重要。但开源模型在这方面表现不佳，根本原因是缺乏训练数据和有效的训练方法：长任务难以收集和验证，且奖励信号稀疏。 解法一：Tev-Gym 数据集 论文先构建了 Tev-Gym，这是第一个带有可验证、密集、渐进奖励的长周期 agent 训练数据集，包含 1170 个可验证任务环境，覆盖 7 个领域。其核心创新是「先建潜在世界」：先构造一份完整且正确的隐藏规格，描述任务领域、工作流以及每一步之后的预期状态；然后从这个规格逐步渲染出 agent 可见的环境。这种方法既能控制复杂度，又能自然得到一个进度度量。 解法二：PPRS 训练方法 论文将进度度量转化为训练方法：通过 progress-potential reward shaping（PPRS），把进度信号转换成每一步的密集奖励。这提升了训练效率，使原本因奖励稀疏而无法训练的任务变得可训。 结果：Tev-27B 的性能 用这套方法训出的 Tev-27B 在 Agents' Last Exam 的计算与数学科学（ALE-CM）子集上，Pass@5 追平了 GPT-…