HarnessPro：用帕累托优化递归改进测试框架
来自 arXiv · 期号 2026-10-20
摘要
构建 AI agent 时，测试框架（harness）的质量很关键。现有的递归自改进方法能提升性能，但执行成本也跟着涨。 HarnessPro 提出了一种免标注的方案：用 LLM 生成的测试来评估候选框架（不需要标准答案），再由专门的 agent 诊断执行轨迹、按不同性能-成本优先级规划更新，最后产出三种变体——轻量版（省成本）、均衡版、重载版（追性能）。 在 Terminal-Bench 2、SWE-Bench Pro 和 ProgramBench 上，用 GPT-5.5 + Codex 时，重载版相比 RHO 平均通过率提升 2.0 个百分点，单任务成本降低 26.1%。换成 GLM-5.2 + Claude Code 结论一致。代码已开源。
深读
导读 构建 AI agent 时，测试框架（harness）的质量直接影响 agent 能力。现有递归自改进方法能提升性能，但执行成本也随之上涨。HarnessPro 提出一种免标注方案，通过 Pareto 优化同时兼顾性能与成本，在三个基准上相比基线方法平均通过率提升 2.0 个百分点，单任务成本降低 26.1%。 关键信息 - HarnessPro 的核心思路是免标注：用 LLM 生成的测试来评估候选框架，不需要标准答案或官方测试集。 - 输出不是单一框架，而是三种变体：轻量版（lite）、均衡版（medium） 和 重载版（heavy），对应不同部署预算。 - 在 Terminal-Bench 2、SWE-Bench Pro 和 ProgramBench 上，用 GPT-5.5 + Codex 时，重载版相比 RHO 平均通过率提升 2.0 个百分点，单任务成本降低 26.1%。 - 换成 GLM-5.2 + Claude Code 时结论一致，说明方法不依赖特定模型。 - 代码已开源在 GitHub。 逐节讲解 问题：递归自改进的代价 构建 agent 测试框架时，递归自改进（RSI）能通过反复迭代提升框架质量，但性能提升往往伴随着更高的执行成本。HarnessPro 要解决的就是这个矛盾：在不依赖人工标注的前提下，同时优化任务通过率和执行开销。 方法：免标注评估 + Pareto 优化 HarnessPro 的工作流程分几步：先用 LLM 生成测试用例来评估候选框架（不需要标准答案），再由专门的 agent 诊断执行轨迹，按不同性能-成本优先级规划更新，最后产出候选框架。关键设计是不返回单一框架，而是通过归一化加权平方距离选择法，输出三种变体，轻量版（省成本）、均衡版、重载版（追性能）。选中的框架进入下一轮迭代，执行反馈驱动进一步更新。 实验：三个基准 + 两组模型 实验覆盖 Terminal-Bench 2、SWE-Bench Pro 和 ProgramBench，使用 GPT-5.5 搭配 Codex 以及 GLM-5.2 搭配 Claude Code 两套组合。在 GPT-5.5 + Codex 下，重载版相比基线 RHO 平均通过率提升 2.0 个百分点，单任务成本降低 26.1%。换用 GLM-5.2 + Claude Code 时结论一致，表明方法具有跨模型泛化能力。 值得注意 - 本文只有摘要，没有方法细节和实验设置。例如「归一化加权平方距离选择」的具体公式、迭代轮数、测试生成策略等关键设计均未展开。 - 2.0 个百分点的通过率提升幅度不大，且未说明基线 RHO 的绝对通过率水平，难以判断改进的实际意义。 - 成本降低 26.1% 是相对于 RHO 的比值，但 RHO 本身的成本结构未知，且轻量版和均衡版的成本数据未给出。