AI agent 评测的拆解
来自 Anthropic Engineering · 期号 2026-01-09
摘要
AI agent 的自主性和灵活性让评测变得困难。 Anthropic 在这篇文章里拆解了 agent 评测的核心概念：task（一个测试用例）、trial（一次尝试）、grader（评分逻辑）、transcript（完整记录）、outcome（最终状态）、harness（运行框架）。 关键建议是：不要只用单轮测试。Agent 会跨多轮调用工具、修改环境状态，错误会传播和累积。需要组合单元测试、端到端检查和对抗性评分，才能匹配 agent 系统的复杂度。 另外，同一个 task 要跑多次 trial，因为模型输出有随机性。transcript 比最终结果更有用——它记录了 agent 的每一步推理和工具调用，是调试失败的根本依据。 原文给出了完整的术语定义和架构说明，适合正在搭建 agent 评测体系的团队参考。