用于 Web agent 的判别式世界模型
来自 arXiv · 期号 2026-09-03
摘要
Web agent 在做动作选择时，通常会先采样几个候选动作，预测每个动作会得到什么页面状态，再用一个 ranker 或过程奖励模型（PRM）来打分。 问题在于，世界模型是用监督式的下一状态预测来训练的——它要生成固定的 HTML 或 AXTree 快照。但这个目标和下游 ranker 的需求不一致：ranker 需要的是预测状态之间有区分度，才能准确打分。 作者提出 predicted-state matching：预测出来的表示必须能区分「真实的下一个状态」和「其他动作会到达的状态」。他们用 WebArena Go-Browse 的轨迹构造了一个分支数据集，每个决策点都包含多个动作及其结果。 在保留的 benchmark 上，这个方法超过了监督式下一状态预测。在 WebPRMBench 上，它比纯动作 PRM 和加了监督式世界模型的 PRM 都更好。在 WebArena-Lite 上，用它做测试时动作选择，端到端任务成功率也提升了。 论文附了项目页面和开源代码。
深读
导读 这篇论文指出当前 Web agent 的世界模型训练目标与下游 ranker 需求之间存在错位，并提出一种新的训练目标 predicted-state matching，让模型学会区分不同动作导致的页面状态。对于关注 agent 测试时决策、过程奖励模型（PRM）或 WebArena 基准的从业者，这篇工作提供了一个直接可用的改进方向。 关键信息 - 现有世界模型通过监督式下一状态预测训练，目标是生成固定的 HTML 或 AXTree 快照。 - 作者提出 predicted-state matching：预测的表示必须能区分「真实的下一个状态」和「其他动作会到达的状态」。 - 训练数据来自 WebArena Go-Browse 轨迹构造的分支数据集，每个决策点包含多个动作及其结果。 - 在 WebPRMBench 上，该方法优于纯动作 PRM 和加了监督式世界模型的 PRM。 - 在 WebArena-Lite 上，使用该世界模型进行测试时动作选择，提升了端到端任务成功率。 逐节讲解 问题：世界模型训练目标与下游 ranker 错位 Web agent 在测试时做动作选择，通常先采样几个候选动作，用世界模型预测每个动作会得到的页面状态，再用一个 ranker 或过程奖励模型（PRM）对这些预测状态打分。但当前世界模型是用监督式下一状态预测训练的，它要生成固定的 HTML 或 AXTree 快照。这个目标与 ranker 的需求不一致：ranker 需要预测状态之间有区分度，才能准确比较和打分。如果世界模型把不同动作的预测结果都压成相似的表示，ranker 就无法有效工作。 方法：predicted-state matching 作者提出 predicted-state matching 作为新的训练目标。核心思想是：模型预测出的表示必须能区分「真实的下一个状态」和「其他动作会到达的状态」。也就是说，模型不仅要学会生成下一状态，还要学会让不同候选动作对应的预测表示在特征空间里彼此分离。训练数据来自 WebArena Go-Browse 轨迹构造的分支数据集，每个决策点都包含多个动作及其对应的结果状态。 实验与结果 作者在三个设置上评估了该方法。第一，在保留的 predicted-state matching benchmark 上，该方法超过了用监督式下一状态预测训练的世界模型。第二，在 WebPRMBench 上，该方法比纯动作 PRM 和加了监督式世界模型的 PRM 都更好。第三，在 WebArena-Lite 上，将该世界模型用于测试时动作选择，提升了端到端任务成功率。 值得注意 由于原文只有摘要，论文的具体模型架构、训练细节、分支数据集的构造方式、以及实验中的消融分析均未展开。摘要中提到的 predicted-state matching 具体…