空货架还是丢钥匙？回忆是参数化事实性的瓶颈
来自 Google Research · 期号 2026-08-12
摘要
大模型在回答事实性问题时出错，通常不是因为不知道答案（知识存储没问题），而是因为没能在生成时把答案回忆起来（回忆是瓶颈）。 Google 团队通过一系列实验发现，模型在训练中学到的知识往往处于“潜伏”状态，需要正确的提示或上下文才能激活。他们提出“回忆瓶颈”假说，并展示了通过检索增强生成（RAG）或精心设计的 prompt 可以显著提升事实性回答的准确率。 论文附有实验设计和数据集，可供复现。
深读
导读 前沿大模型在回答事实性问题时频频出错，根本原因往往不是模型“没学过”这个知识，而是“想不起来”。Google Research 团队通过一套名为“知识画像”（knowledge profiling）的行为分析框架，系统性地证明了这一点：在 Gemini 3 和 GPT-5 这类最先进的模型中，95%–98% 的事实已被编码进参数，但仍有 26%–34% 无法被直接回忆。这篇论文重新定义了事实性错误的诊断方式，并指出提升知识利用率（而非继续扩大模型规模）可能是下一阶段提升事实准确率的关键。 关键信息 - 在 Gemini-3-Pro 和 GPT-5 上，95%–98% 的 Wikipedia 事实已被编码，但模型仍无法直接回忆 26%–34% 的事实；即使启用 thinking 模式，仍有 11%–12% 的事实无法被正确回答。 - 团队发布了 WikiProfile 基准，包含 2,150 条 Wikipedia 事实，每条事实配有 10 道测试题（2 道编码测试、4 道知识测试、4 道多项选择识别测试），全部通过自动化流水线构建并经过人工验证。 - 在 Gemma 3 系列中，模型越大，编码失败率下降越明显，但回忆失败率依然显著，且占剩余错误的比例更高，规模扩展主要改善了知识存储，而非知识存取。 - 对于罕见事实（长尾知识），编码率与热门事实接近，但回忆率差距显著更大，说明长尾问题的主因不是模型容量不足，而是知识难以被激活。 - 逆向问题（如已知“A 是 B”，问“B 是什么？”）在开放式生成中比正向问题难得多，但在多项选择验证中并不更难，说明“逆转诅咒”本质上是回忆问题，而非双向知识缺失。 - 在 thinking 优化的模型中，thinking 能恢复约 40%–65% 的“已编码但无法直接回忆”的事实，但对未编码的事实帮助极小（仅 5%–15%）。 逐节讲解 核心方法：知识画像 传统的事实性评估只问“这道题答对没有”，把“没学过”和“想不起来”混为一谈。知识画像将分析单位从单道题改为单条事实，把每条事实归入五种状态之一：编码失败、回忆失败、直接回忆、思考后回忆、无编码推理。分类依据是事实是否被编码以及可访问程度，能否直接回忆、能否通过 thinking 回忆。 团队用三个行为概念来操作化这套框架：编码指模型能在类似预训练语境的上下文中正确复现事实；知识指模型能回答语义等价的多种问法（包括正向和逆向问题）；回忆指模型能“知道”一条已编码的事实。 WikiProfile 基准 WikiProfile 通过全自动流水线构建：从 Wikipedia 页面提取事实（一个关于有序实体对的命题），再通过生成、精炼、过滤三步生成正向和逆向问题。所有问题经过搜索引擎过滤，如果返回多个答案或需要澄清则丢弃。最终保留 2,150 条事实，每条配 10 道题（2 道编…