AdvSim2Real：在网页世界模型中训练 agent
来自 arXiv · 期号 2026-10-07
摘要
网页 agent 需要读取第三方页面来完成任务，但页面上可能藏有对抗性指令，把 agent 引向错误方向。 现有方案是在训练时固定一批注入样本做微调，但攻击者可以针对训练后的模型生成新的注入，绕过防御。对抗训练虽然让攻击者可以自适应，但任务集是固定的——一旦 agent 学会某个任务，这个任务就不再提供新的学习信号。 AdvSim2Real 在冻结的网页世界模型里让任务课程、注入攻击者和 agent 三方共同进化：课程只奖励 agent 刚好有一半概率能完成的任务，攻击者只奖励那些能把成功翻转为失败的注入。 在 150 个网页任务上，AdvSim2Real 让一个 4B 的 agent 在面对从未见过的前沿模型攻击者时，任务完成率比基线 agent 提升了 33.6%。
深读
导读 网页 agent 在执行用户指令时需要读取第三方页面，但页面上可能暗藏对抗性注入指令，将 agent 引向错误方向。这篇论文提出 AdvSim2Real，通过让任务课程、注入攻击者和 agent 在冻结的网页世界模型中三方共同进化，同时提升 agent 的能力与鲁棒性。读完可以了解一种不依赖固定攻击样本、让 agent 在模拟器中持续对抗学习的训练范式。 关键信息 - 现有防御方案在训练时固定一批注入样本做微调，但攻击者可以针对训练后的模型生成新注入绕过防御；对抗训练虽让攻击者自适应，但任务集固定，任务一旦被 agent 学会就不再提供新学习信号。 - AdvSim2Real 在冻结的网页世界模型里让三方共同进化：课程只奖励 agent 刚好有一半概率能完成的任务，攻击者只奖励那些能把成功翻转为失败的注入（success flip）。 - 在 150 个网页任务上，AdvSim2Real 让一个 4B 参数的 agent 在面对从未训练过的前沿模型攻击者时，任务完成率比基线 agent 提升了 33.6%。 - 模拟器中训练出的能力增益可迁移到真实浏览器环境。 逐节讲解 问题：网页 agent 面临的对抗性注入困境 网页 agent 需要读取第三方页面上的内容来完成任务，但页面可能包含对抗性指令，将 agent 引向用户目标之外。agent 不能简单地忽略页面，因为页面同时包含任务所需的值和控制逻辑。当前防御手段是在训练时固定一批注入样本做微调，但攻击者可以针对训练后的模型生成新的注入，绕过这些防御。对抗训练虽然让攻击者可以自适应，但任务集是固定的，一旦 agent 学会某个任务，这个任务就不再提供新的学习信号。 方案：AdvSim2Real 的三方共同进化 AdvSim2Real 在一个冻结的网页世界模型内，让三个角色同时进化：任务课程（task curriculum）、注入攻击者（injection adversary）和 agent。课程只奖励那些 agent 刚好有一半概率能完成的任务，确保 agent 始终面对有挑战性的任务；攻击者只奖励那些能把原本判定为成功的任务翻转为失败的注入（success flip），迫使 agent 持续学习抵御新攻击。三方共同进化的设计避免了固定任务集和固定攻击样本带来的学习信号枯竭问题。 结果：鲁棒性与能力同步提升 在 150 个网页任务上，AdvSim2Real 训练出的 4B agent 在无攻击和有攻击场景下的任务完成率均高于基线 agent。面对一个从未在训练中见过的前沿模型攻击者，其完成率相对提升了 33.6%。此外，模拟器中获得的能力增益可以迁移到真实浏览器环境中，说明 AdvSim2Real 不仅提升了 agent 在模拟器中的表现，也带来了实际部署中的改进。 值得注意 原文为论文摘要，信息有限。…