如何评估 AI agent：从工具调用到任务完成
来自 NVIDIA Developer · 期号 2026-09-22
摘要
评估 AI agent 不能只看单次函数调用是否准确，关键要看它能否在真实环境中完成多步任务。 NVIDIA 提出了一套评估框架：在可执行环境中运行 agent，记录每一步的调用轨迹，然后从两个层面打分——步骤级（过程评分）检查每一步是否有效、相关、有用；端到端（结果评分）只看最终环境状态是否达到目标。 核心指标沿固定层级汇总：基准 → 试验 → 任务 → 轮次 → 步骤，按准确率、冗余度、成本三个维度配对报告（如成功率必须附带一致性范围）。 不同基准之间不可直接比较，差异来自任务复杂度、环境是否有状态、验证方法（可执行验证优于参考答案，LLM 判分只作临时参考）。 NVIDIA 用自家模型 Nemotron 3.5 Lightning 演示了这套框架：在 PinchBench 上达到 86% 准确率，同时比同类模型快 30%。