从上下文学习比我们想的更难
来自 Tencent Hunyuan Research · 期号 2026-02-03
摘要
腾讯混元研究院认为，当前语言模型擅长做「考生」——靠预训练时压缩进参数的知识来解题——但用户真正需要的是能从眼前上下文里实时学习的能力。 为了衡量这个差距，他们构建了 CL-bench 基准，包含 500 个复杂上下文和 1899 个任务，全部由领域专家手工设计，确保模型不靠记忆也能解题。不加上下文时，最强模型 GPT-5.1（High）只能答对不到 1% 的任务，证明数据没有泄露。 十款前沿模型的平均解题率只有 17.2%，GPT-5.1（High）最高也仅 23.7%。主要失败模式不是信息缺失，而是模型忽略或误用了上下文里的关键细节，甚至当上下文明确定义了新规则时，模型仍会退回预训练时的假设。 论文还发现：归纳推理（从数据中推断规律）比演绎推理（应用给定规则）难得多，成功率常低于 10%；上下文长度和复杂度都会影响表现，但短上下文也可能因为信息密集而很难。 如果上下文学习能力大幅提升，人类的角色将从「训练数据提供者」转向「上下文提供者」。但上下文学习是临时的——模型在窗口内适应，窗口一清就忘。如何让从上下文中学到的知识持久化，是更深层的问题。 论文附了开源代码和数据集。
深读
导读 语言模型在标准化考试中表现惊人，但用户真正需要的是能从眼前上下文里实时学习的能力。腾讯混元研究院构建了 CL-bench 基准，系统性地揭示了当前最强模型在这一能力上的巨大短板，平均解题率仅 17.2%，主要失败模式不是信息缺失，而是模型忽略或误用了上下文中的关键细节。这篇博客提出了一个根本性的优化方向转变：从训练“考生”转向培养“上下文学习者”。 关键信息 - CL-bench 包含 500 个复杂上下文、1,899 个任务和 31,607 条验证标准，全部由领域专家手工设计。 - 不提供任何上下文时，最强模型 GPT-5.1 (High) 只能解出不到 1% 的任务，证明数据没有泄露。 - 十款前沿模型在 CL-bench 上的平均解题率仅 17.2%，GPT-5.1 (High) 最高也仅 23.7%。 - 51.1% 的任务需要顺序依赖，后一个任务的解依赖于前一次交互的结果。 - 归纳推理（从数据中发现规律）的成功率常低于 10%，远低于演绎推理（应用给定规则）。 - 领域专家为每个上下文平均花费约 20 小时进行标注，每个任务平均包含 16.6 条评估标准。 逐节讲解 为什么需要“上下文学习者” 博客从日常场景切入：开发者阅读陌生工具的文档后立即调试、玩家翻阅新游戏规则后边玩边学、科学家从实验日志中推导新定理。这些场景的共同点是，人类并非依赖多年前学到的固定知识，而是从眼前的上下文中实时学习。 当前语言模型的工作方式与此相反。它们主要依赖预训练阶段压缩进参数的知识（parametric knowledge），推理时本质上是在调用静态的内部记忆，而非主动学习新信息。这造成了一个结构性错配：模型被优化成擅长对已知知识进行推理，但用户需要的是能处理不断变化的、混乱的上下文的能力。 CL-bench：如何衡量上下文学习能力 CL-bench 覆盖四类真实场景的上下文学习： 1. 领域知识推理：上下文提供特定领域知识（如虚构法律体系、创新金融工具），模型需据此推理解题。 2. 规则系统应用：上下文定义新形式系统（如新游戏机制、数学形式化、编程语法），模型需理解并应用这些规则。 3. 流程任务执行：上下文提供复杂流程系统（如工作流、产品手册），模型需理解并执行流程信息。 4. 经验发现与模拟：上下文提供实验数据或模拟环境，模型需从数据中归纳出规律并应用，这是唯一涉及归纳推理的类别，也是最具挑战性的。 基准的设计核心原则是：每个任务都必须要求从上下文中学习新知识。为此，专家采用三种方式确保数据无污染：完全虚构内容（如为虚构国家设计整套法律体系）、修改现有内容（如改变历史事件或科学定义）、整合预训练数据中极少出现的边缘或新兴内容（如最新产品手册或前沿研究）。 实证发现：模型为何失败 十款前沿模型在 CL-bench 上的平均解题率仅 17.2%，GPT-5.…