SWE-DIVE：多轮编程 agent 评测
来自 arXiv · 期号 2026-10-22
摘要
现有编程 agent 评测（如 SWE-bench）只用单轮、写得很好的 prompt 来测，但真实场景里用户会不断追加新需求，形成多轮对话。 SWE-DIVE 引入了一个用户模拟器，能模拟不同行为模式，与 agent 进行多轮交互；同时配了一个对话验证器，检查模拟器的输出是否满足初始需求，并引导 agent 走向正确解法。整个框架跑在 Harbor 环境里，协调 agent、模拟器和验证器三方的交互。 论文在 GitHub 开源了代码和结果。
深读
导读 现有编程 agent 评测（如 SWE-bench）只用单轮、写得很好的 prompt 来测，但真实场景里用户会不断追加新需求，形成多轮对话。这篇论文提出了 SWE-DIVE，一个引入用户模拟器和对话验证器的多轮交互评测框架，让 agent 评测更贴近实际使用。读完能了解当前评测的局限，以及多轮动态评测的设计思路。 关键信息 - SWE-DIVE 引入了一个用户模拟器，能模拟不同行为模式，与 agent 进行多轮交互。 - 框架包含一个对话验证器，用于检查模拟器的输出是否满足初始需求，并引导 agent 走向正确解法。 - 整个框架跑在 Harbor 环境里，协调 agent、模拟器和验证器三方的交互。 - 论文在 GitHub 开源了代码和结果。 逐节讲解 现有评测的局限 现有编程 agent 评测（如 SWE-bench）使用 GitHub issue 作为输入，且只给单轮、写得很好的 prompt。但真实场景中，用户的 prompt 往往不如 GitHub issue 那样结构清晰，且 agent 会话通常涉及多轮交互，用户会迭代地追加新任务和需求。 SWE-DIVE 框架设计 为评测多轮能力，论文开发了 SWE-DIVE，一个动态、交互式的验证与评测框架。核心组件包括：一个用户模拟器，能模拟不同行为模式并与 agent 对话；一个对话验证器，评估模拟器的输出是否满足初始需求，并引导 agent 成功完成任务。整个框架嵌入在 Harbor 环境中，协调 agent、模拟器和验证器三方的交互，并执行测试环境来判断 agent 是否成功完成任务。 开源与结果 论文的结果和源代码已在 GitHub 仓库公开。 值得注意 原文信息有限，基于论文摘要。框架的具体实现细节、用户模拟器的行为模式种类、对话验证器的引导策略、以及评测结果的具体数据，在摘要中均未展开。