Agent-Editing World Model
来自 arXiv · 期号 2026-09-24
摘要
LLM agent 在长周期任务中常被历史里过时的假设和计划带偏，这叫「任务状态污染」。 现有世界模型大多去预测工具返回的结果，但真实反馈已经到手时，这种预测没什么用。AEWM 换了个思路：不预测工具输出，而是建模推理和动作如何影响任务进展。它用 Action Judge 把决策分成关键、探索、噪声三类，再用 State Revision 从同一段历史里剪掉噪声推理-动作链。EditAct 把这些能力跟真实执行结合，直接改写后续决策依赖的状态，不只是给个批评。 AEWM 在 Action Judge 基准上 macro-F1 达 70.5%，比最强前沿基线高 10.6 个百分点。在六个基准和三个 agent 骨干上，EditAct 比最强基线平均高 3.2–6.7 分。基于 EditAct 轨迹的拒绝采样微调（AEWM-RFT）在三个领域上比 Self-RFT 高 2.2–2.6 分，且不需要在线 AEWM 指导。 论文在 Search、Terminal、Software Engineering 三个领域训练并验证了方法。