AI 科学家评测的新思路：把答案告诉模型
来自 Latent Space · 期号 2026-10-26
摘要
AI 科学家评测的困境在于：现有 benchmark 的答案都是公开的，模型可以记住答案，而不是真正学会做科研。 Leash Bio 的 Ian Quigley 提出一个反直觉的方案：把答案直接告诉模型，然后看它能不能复现出这个答案。如果模型只是背答案，它应该直接输出已知结果；只有真正理解推理过程，才能从答案倒推出完整的论证路径。 他们用这个思路设计了一套评测，让模型在已知答案的前提下完成完整的科研流程——从文献检索到实验设计再到结果分析。初步结果显示，能通过这套评测的模型，在真实科研任务上的表现也更好。 这个判断站得住，因为 Leash Bio 自己用这套评测筛选模型时，发现那些在传统 benchmark 上分数很高的模型，在真实科研任务上反而经常跑偏。