分子性质评测中的逐字检索现象
来自 arXiv · 期号 2026-09-05
摘要
大语言模型在分子性质评测上的高分，可能只是因为它背下了论文里的数字。 研究者审计了 22 个前沿模型在 12 个回归 benchmark 上的逐字检索行为，发现这种现象普遍但集中在特定数据集上：5 个数据集中超过 50% 的模型存在逐字检索。 推理级别越高，检索越容易被触发——同一实验在高推理级别下被标记的概率比最低级别高 89%。 尝试打断检索时，最强模型仍能识别经过变换的 SMILES 字符串与原始标签的组合。抑制检索后，不同模型的预测误差在相对值上更接近，说明模型的预测能力并非仅由记忆量决定。 论文附了开源审计代码。
深读
导读 这篇论文揭露了一个令人不安的事实：大语言模型在分子性质评测上的高分，可能只是因为背下了论文里的数字，而非真正理解了化学。它系统性地审计了22个前沿模型在12个回归基准上的逐字检索行为，为“模型到底是在预测还是在背诵”这个根本问题提供了量化证据。读完你会得到一个判断框架和一套开源审计工具，不再被benchmark分数轻易蒙蔽。 关键信息 - 审计覆盖22个前沿模型、12个回归基准，发现逐字检索普遍存在但高度集中在特定数据集上：5个数据集中超过50%的模型存在逐字检索，其余数据集上只在个别模型中出现。 - 推理级别显著影响检索行为：同一实验、同一分子、同一提示，在高推理级别下被标记为检索的概率比最低级别高89%。 - 尝试打断检索时，最强模型仍能识别经过变换的SMILES字符串与原始标签的组合，说明记忆非常顽固。 - 抑制检索后，不同模型的预测误差在相对值上更接近，表明模型的预测能力并非仅由记忆量决定，记忆量差异反而拉大了模型间的表现差距。 逐节讲解 问题：高分不等于理解 论文开篇指出，大语言模型越来越多地被用于分子性质预测的评测，但准确率这个指标本身无法区分“模型真的预测了性质”和“模型只是从训练数据里检索出了已发表的数值”。这是整个研究的出发点：需要一种方法把“背诵”和“理解”拆开。 审计方法：如何检测逐字检索 研究者对22个前沿模型在12个回归基准上进行了系统审计。所谓“逐字检索”，是指模型输出的数值与训练数据中某个已发表数值完全一致，且无法用巧合解释。实验在两个推理级别下进行，以观察推理强度对检索行为的影响。 核心发现：检索普遍但集中，推理级别是关键触发器 审计结果有三层。第一，逐字检索普遍存在，但高度集中在特定数据集上——5个数据集中超过50%的模型存在检索，其余数据集上检索只出现在个别模型。第二，推理级别是强触发器：同一实验在高推理级别下被标记的概率比最低级别高89%。第三，最强模型在尝试打断检索时仍能识别经过变换的SMILES字符串与原始标签的组合，说明记忆非常顽固。 抑制检索后的启示：预测能力与记忆量无关 研究者尝试抑制检索行为，发现抑制后不同模型的预测误差在相对值上更接近，而它们原本对逐字检索的不同使用方式反而拉大了表现差距。这意味着模型的预测能力并非由记忆量决定，一个背了很多数字的模型，不一定比背得少的模型更懂化学。 值得注意 - 本文基于论文摘要，原文的具体实验设计、数据集列表、模型名称、审计指标阈值等细节均未展开。例如“22个前沿模型”具体是哪些、“12个回归基准”是哪12个，摘要未列出。 - 论文声称“抑制检索后不同模型的预测误差更接近”，但未说明抑制方法的具体实现，是修改prompt、后处理还是重新训练？摘要未涉及。这一结论的可靠性取决于抑制手段是否真的干净地移除了记忆成分，而非同时削弱了模型的预测能力。 - 高推理级别触发更多…