EarlyEval：通过早期结果预测降低 agent 评
来自 arXiv · 期号 2026-09-03
摘要
评估 LLM agent 的成本越来越高：在 agent benchmark 上跑一次前沿模型就要花几百到几千美元，而且开发迭代中要反复跑。 已有的 benchmark 蒸馏方法只减少了评测任务的数量，但每个任务本身的执行成本没变。EarlyEval 从另一个方向切入：在任务执行中途就预测最终结果，一旦预测置信度达标就提前终止。 它用 LightGBM 训练了一对成功/失败分类器，特征来自 agent 的行为、文本和参考解。在 SWE-bench Verified、TerminalBench 和 Toolathlon 三个 benchmark 上，EarlyEval 能提前终止 13%-26% 的 agent 步骤，节省最多 44.1% 的输入 token 和 29.4% 的输出 token，预测准确率 89%-97%，而 agent 的 resolve rate 平均只波动 1-2 个百分点。 论文附了开源代码。