只看通过率已无法解读评测

来自 Thariq · 期号 2026-09-12

摘要

Anthropic 的 Thariq 认为，如今只看通过/失败分数已经无法解读评测结果。他观察到，许多 benchmark 中的失败案例是因为隐藏测试过于严格，有些情况下模型的答案甚至比预期的评测结果更合理。