Meta AI 高级总监 Madhu Guru
来自 Madhu Guru · 期号 2026-08-26
摘要
Meta AI 高级总监 Madhu Guru 继续他的 evals 系列，提出一个很关键的观点：当团队把 evals 当成静态工件，而用户行为持续演化时，evals 就会失效。他的 “Eval Roadmap Problem” 认为，产品会从短上下文、单轮 QA，逐步走向长上下文、多轮、会用工具、主动行动的 agents，因此 evals 需要提前覆盖下一阶段的使用场景，而不是只衡量第一周的用法。