STEPBENCH：诊断 AI agent 的流程理解能
来自 arXiv · 期号 2026-10-20
摘要
评估 AI agent 的规划能力，现有方法只看最终计划，发现不了步骤缺失、顺序错误这类问题。 STEPBENCH 从 wikiHow 抓了 6,885 条已验证的操作流程，覆盖 81 个开放领域。每条流程拆出 5 个诊断任务：4 个有确定答案（缺步骤、错步骤、乱序），1 个要求预测下一步。 在 12 个模型的 14 种配置上，步骤排序是最难的——最强模型也只能正确排好 63.0% 的流程，9 步以上的流程降到 33.1%。检测错误步骤的能力与人工判断的计划质量高度相关，可以作为评估生成质量的一个低成本替代方案。 论文附了开源代码和评测集。
深读
导读 AI agent 的规划能力评估长期存在盲区：现有方法只看最终计划是否完整，发现不了步骤缺失、顺序错误这类具体问题。STEPBENCH 从 wikiHow 抓取近 7,000 条已验证的操作流程，拆出 5 个诊断任务来精准定位 agent 的规划缺陷。读完能清楚知道当前最强模型在哪些环节最薄弱，尤其是长流程排序几乎全军覆没。 关键信息 - 数据集规模：6,885 条已验证的操作流程，覆盖 81 个开放领域，全部来自 wikiHow。 - 诊断任务设计：每条流程拆出 5 个任务——4 个有确定答案（缺步骤、错步骤、乱序），1 个要求预测下一步。 - 步骤排序是最难的环节：最强模型也只能正确排好 63.0% 的流程；流程超过 9 步时，正确率骤降至 33.1%。 - 错误步骤检测能力与人工判断的计划质量高度相关，论文提出这可以作为评估生成质量的一个低成本替代方案。 - 验证集（STEPBENCH-Val）包含 214 条 2026 年新发布的流程，模型得分和排名保持稳定，说明记忆效应影响有限。 逐节讲解 现有评估的盲区与 STEPBENCH 的设计动机 论文指出，开放域任务中通过实际执行来验证 agent 计划往往不可行，因此现有评估几乎只检查最终计划是否完整。这种粗粒度方法无法区分步骤缺失、步骤错误、步骤顺序错误等不同类型的规划失败。STEPBENCH 正是为了填补这一空白：用同一套流程同时测试多个维度的规划能力，从而直接比较不同能力的强弱。 数据来源与诊断任务 数据集从 wikiHow 爬取，每条流程都是经过社区验证的操作步骤。从每条流程中衍生出 5 个诊断任务：4 个是确定性的，包括隐藏某些步骤、插入错误步骤、打乱步骤顺序，让模型判断问题所在；第 5 个要求模型预测下一步。此外，论文还评估了完整计划生成任务，以观察诊断性能与端到端计划质量之间的关联。 主要发现与结论 在 12 个模型的 14 种配置上，不同规划能力之间存在显著差异。步骤排序是所有任务中最难的：最强模型也只能正确排好 63.0% 的流程，当流程步骤达到 9 步或更多时，正确率跌至 33.1%。论文还发现，模型检测错误步骤的能力与人工判断的计划质量高度相关，这意味着可以用这个诊断任务来替代成本更高的完整计划质量评估。验证集上的稳定性测试表明，模型得分和排名受记忆效应影响很小。 值得注意 论文基于摘要，具体测试了哪些模型、各模型的详细得分、诊断任务的具体格式和评测指标均未展开。摘要中提到的“STEPEVAL”评估框架的具体机制也未说明。此外，wikiHow 流程虽然经过社区验证，但其覆盖范围和领域代表性是否足以推广到所有开放域规划任务，需要进一步审视。