Meta AI senior director
来自 Madhu Guru · 期号 2026-08-20
摘要
Meta AI senior director Madhu Guru 分享了一个很实用的 evals 方法：一旦有了 v1 evals，就应该基于真实生产 traces 建立 failure-mode taxonomy。他的建议非常落地：看最近 500 或 1,000 次交互，精确聚类失败类型，不要用 “bad answer” 这种无用标签；“检索了错误文档”、“文档对但段落不相关”、“面对模糊问题没有追问而是瞎猜” 是完全不同的问题，需要不同测试来捕捉。