Meta AI senior director
来自 Madhu Guru · 期号 2026-08-23
摘要
Meta AI senior director Madhu Guru 继续更新他关于如何构建优秀 evals 的系列。最有价值的一点是：“hill climbing on evals” 本质上就是选定一个真正重要的维度，比如功能质量、相邻 use case、成本或延迟，然后通过更好的 harness、模型选择、prompt engineering、context engineering、memory、post-training 或传统确定性代码去优化。他认为产品团队应该先用最强模型上线，把用户体验做到足够好；等确认用户真的喜欢之后，再往更便宜、更快的小模型上优化。另一条相关推文主要是前几部分的链接列表，因此可解读信息有限。