你的 Agent 这次成功了，下次还会吗
来自 Hugging Face · 期号 2026-09-16
摘要
标准评测报告 Mean@k，但一个 agent 可能平均表现不错，却对同一任务反复失败。 IBM Research 发现，GPT-4.1 驱动的 ReAct agent 在 AppWorld 上 Mean@5 为 77.4%，但 Pass⁵（五次全对）只有 53.0%，两者相差 24.4 个百分点。问题出在决策点的概率分布太“平”：几个 token 概率接近，微小的平台波动就能改变选择。 他们为此构建了 Consistency Analyzer，对单条轨迹的每个决策点重采样（一次调用取 k=5 个补全），找出易翻转的步骤，再自动生成一致性指南注入推理。结果是 Pass⁵ 从 53.0% 升至 69.0%，差距缩小到 12.0 个百分点，且平均准确率未降。指南还能泛化到同类任务。 原文附了开源工具和 arXiv 论文。