AI 的 benchmark 表已经过时了
来自 No Priors · 期号 2026-06-26
摘要
AI 模型发布时，业界习惯用一张静态的 benchmark 表来评判它的能力。OpenAI 研究科学家 Noam Brown 认为，这套做法已经过时了。 核心问题在于：benchmark 表不记录模型被允许思考了多久。一个模型如果被允许推理几周甚至几个月，它的表现可以远超同一模型在几秒内给出的答案。 Brown 用自己参与构建的扑克机器人作为例子：同样的模型，给更多思考时间，就能击败人类顶尖选手。他认为，benchmark 应该按成本（计算量）来评估，而不是按模型名称。 “今天的模型如果配上合适的脚手架，可以在复杂任务上推理数周甚至数月。” 他还指出，当前的安全评估框架存在巨大缺口——当模型能力随推理预算增长时，静态的安全测试就失去了意义。 本文是播客访谈，Brown 还讨论了递归自我改进的瓶颈、多智能体协作的未来，以及前沿竞争格局。