CLIFT：面向 web agent 的共形自验证训练与
来自 arXiv · 期号 2026-10-06
摘要
开源 web agent 已经能执行真实的浏览器任务，但用强化学习训练它们仍然依赖弱监督：二元的任务成功信号太稀疏，无法做信用分配；而用前沿大模型做每一步的裁判又太贵，部署时也不一定可用。 CLIFT 提出了一种基于共形自验证的训练与测试时扩展方法。训练时，agent 回答关于自身轨迹的自然语言验证问题；一个组合共形认证器只保留那些 URL 级证据与训练时裁判一致的信号，通过极性感知提升分配带符号的信任权重，并将最终的验证器分数混入每一步的奖励中，且保证不削弱裁判基线。测试时，同一套认证过的题库被冻结，用于共形轨迹选择：agent 采样一条贪心轨迹和若干条多样化的重试，自验证器总结每条 URL 的痕迹，然后一个保守的多数投票规则决定是否切换当前最优轨迹，全程不调用外部裁判。 这套机制在三个场景下有效。在 WebArena Infinity 上，CLIFT 达到了开源 web agent 的最佳性能。在 VisualWebArena 上，用开源模型训练的题库在测试时迁移到 GPT-5.5，在标准评测下也达到了最佳。在 Online Mind2Web 上，无需在 benchmark 上训练 agent，仅翻译认证题库就能在零样本评估中提升在线 agent 的表现。 这些结果说明，共形自验证可以把昂贵的裁判反馈转化为可复用的训练信号和无裁判的测试时扩展信号。
深读
导读 开源 web agent 已经能执行真实浏览器任务，但强化学习训练面临监督信号两难：二元成功信号太稀疏，而前沿模型做每一步裁判又太贵且部署时不可用。CLIFT 提出一套基于共形自验证的框架，将昂贵的裁判反馈转化为可复用的训练信号和无需裁判的测试时扩展信号，在三个 benchmark 上均达到开源最优或领先水平。 关键信息 - CLIFT 在训练时让 agent 回答关于自身轨迹的自然语言验证问题，通过一个组合共形认证器只保留 URL 级证据与训练时裁判一致的信号，并分配带符号的信任权重。 - 测试时，同一套认证过的题库被冻结，用于共形轨迹选择：agent 采样一条贪心轨迹和若干条多样化重试，自验证器总结每条 URL 的痕迹，保守多数投票决定是否切换最优轨迹，全程不调用外部裁判。 - 在 WebArena Infinity 上，CLIFT 达到开源 web agent 中的最优性能。 - 在 VisualWebArena 上，用开源模型训练的验证器库在测试时迁移到 GPT-5.5，并在标准测试框架下达到最优性能。 - 在 Online Mind2Web 上，无需在 benchmark 上训练 agent，仅翻译认证过的问题库即可在零样本评估中提升在线 agent 的表现。 逐节讲解 训练监督的两难与 CLIFT 的核心思路 开源 web agent 已能执行真实浏览器任务，但用强化学习训练它们面临监督信号的两难：二元任务成功信号太稀疏，无法做信用分配（即无法判断轨迹中哪一步导致了成功或失败）；而用前沿大模型做每一步的裁判虽然信号密集，但成本太高，且在部署时不一定可用。CLIFT 的核心思路是围绕共形自验证构建训练和测试时扩展方法，将昂贵的裁判反馈转化为可复用的信号。 训练阶段：组合共形认证与极性感知提升 训练时，agent 回答关于自身轨迹的自然语言验证问题。一个组合共形认证器只保留那些 URL 级证据与训练时裁判一致的信号，通过极性感知提升分配带符号的信任权重，并将最终的验证器分数混入每一步的奖励中，且保证不削弱裁判基线。这意味着训练信号既来自裁判的监督，又通过共形认证过滤掉不可靠的部分。 测试阶段：共形轨迹选择 测试时，同一套认证过的题库被冻结，作为结构化证据用于共形轨迹选择。agent 采样一条贪心轨迹和一条或多条多样化的重试，自验证器总结每条 URL 的痕迹，然后一个保守的多数投票规则决定是否切换当前最优轨迹，全程不调用外部裁判。这使得测试时扩展不依赖任何外部模型。 三个场景的实验结果 这套机制在三个场景下有效。在 WebArena Infinity 上，CLIFT 达到开源 web agent 的最优性能。在 VisualWebArena 上，用开源模型训练的验证器库在测试时迁移到 GPT-5.5，并在标准测试框架下达到最优性能。在 Onlin…