Meta AI Senior Director
来自 Madhu Guru · 期号 2026-08-18
摘要
Meta AI Senior Director Madhu Guru 分享了今天最实用的 evals 观点之一：先从你非常熟悉的 workflow 入手，研究真实用户 traces，定义每一步和最终结果的好答案长什么样，捕捉 messy tool response、缺上下文等失败模式，然后让 eval 可重复运行，并确保它随着用户行为变化继续贴近 live traffic。这是一个很接地气的提醒：evals 不是抽象 benchmark，而是产品质量的 instrumentation。