Meta AI 高级总监 Madhu Guru
来自 Madhu Guru · 期号 2026-08-25
摘要
Meta AI 高级总监 Madhu Guru 继续他的 evals 系列，提醒大家：一个适合 hill-climbing 的好 eval，必须能区分真正有差异的系统。如果 5 个模型都拿到 92–95 分，但你已经知道其中有些明显更强，那这个 eval 的区分度就不够。好的 eval 不是越难越好，而是要现实、困难，并且对真实能力差异足够敏感。
来自 Madhu Guru · 期号 2026-08-25
Meta AI 高级总监 Madhu Guru 继续他的 evals 系列，提醒大家：一个适合 hill-climbing 的好 eval，必须能区分真正有差异的系统。如果 5 个模型都拿到 92–95 分，但你已经知道其中有些明显更强，那这个 eval 的区分度就不够。好的 eval 不是越难越好，而是要现实、困难，并且对真实能力差异足够敏感。
本站只做摘要与索引，全部内容版权归原作者所有。