评测 agent 要测步骤，不只测结果
来自 Madhu Guru · 期号 2026-09-10
摘要
Meta 的 Madhu Guru 认为，评测 agent 不能只看最终结果，更要看它怎么走到那一步。 两个 agent 可能都答出 42，但一个只做了 4 次干净的工具调用，另一个做了 17 次、重复搜索、从两次错误中恢复。高下立判。 他给出了四步法：先定义完整工作流，再拆解每一步的任务，然后设计每步的评测方式，最后区分中档和困难任务。
来自 Madhu Guru · 期号 2026-09-10
Meta 的 Madhu Guru 认为，评测 agent 不能只看最终结果，更要看它怎么走到那一步。 两个 agent 可能都答出 42，但一个只做了 4 次干净的工具调用，另一个做了 17 次、重复搜索、从两次错误中恢复。高下立判。 他给出了四步法：先定义完整工作流，再拆解每一步的任务，然后设计每步的评测方式，最后区分中档和困难任务。
本站只做摘要与索引，全部内容版权归原作者所有。