Meta AI Senior Director
来自 Madhu Guru · 期号 2026-08-22
摘要
Meta AI Senior Director Madhu Guru 继续他的 evals 系列，提醒团队不要把复杂的 eval suite 压成一个总分。他的核心观点是：一个模型可能在简单 summarization 和 factual QA 上进步，同时在用户真正关心的前沿任务上退步。他把这称为 “the tyranny of the average”，并主张团队需要有优先级的 eval ladder，以及愿意深入看失败细节的人，而不是靠 weighted score 制造虚假的精确感。