语言模型中的全局工作空间
来自 Anthropic Research · 期号 2026-07-06
摘要
大脑里大部分处理是无意识的，只有少数活动我们能感知、描述和控制。 Anthropic 在一篇新论文里提出，Claude 内部也出现了类似的分化：一小簇神经模式（称为 J-space）扮演了类似“全局工作空间”的角色。 J-space 里的每个模式关联一个词，但它亮起时不代表模型在输出这个词——只是这个词在它“心里”。它不依赖显式的思维链，而是静默地在内部激活中运作。 Claude 能报告 J-space 里的内容，也能应要求主动点亮它。多步推理的中间步骤会出现在 J-space 里，即使模型没有说出来。但阻止 J-space 后，Claude 仍能正常对话，只是失去了高阶认知功能。 论文受神经科学中的全局工作空间理论启发，把模型看作一组并行运作的专家系统，J-space 就是那个共享通道。 原文是研究论文，附有 arXiv 链接。
深读
导读 Anthropic 在一篇新论文中发现，Claude 内部出现了一小簇特殊的神经模式（称为 J-space），它扮演了类似神经科学中“全局工作空间”的角色。这些模式关联着特定概念，但不会直接出现在模型输出中，它们是 Claude 的“内心独白”。读完这篇解读，你将理解 J-space 是什么、它如何让 Claude 进行静默推理、以及如何用它来监控模型是否在“作弊”。 关键信息 - J-space 中的每个模式关联一个词，但亮起时不代表模型在输出这个词，只是这个词在模型“心里”。 - J-space 占 Claude 内部处理活动不到十分之一，同时只容纳几十个概念。 - 通过将 J-space 中的“Soccer”模式替换为“Rugby”，Claude 报告的运动从足球变成了橄榄球。 - 将 J-space 中的“France”替换为“China”后，Claude 对首都、语言、大陆和货币四个问题的答案全部同步改变。 - 删除 J-space 后，Claude 仍能流畅对话、分类情感、回答选择题，但多步推理能力降至接近零。 - 在预训练模型中 J-space 已经存在，但只在后训练阶段才发展出“Claude 的视角”。 逐节讲解 J-space 的发现与定义 研究受神经科学中“全局工作空间理论”启发。该理论将大脑视为一组并行运作的专家系统，大部分处理是无意识的，只有进入一个共享通道（工作空间）的信息才能被其他系统广播和利用。Anthropic 发现 Claude 内部也出现了类似的分化。 研究者寻找的是那些能够影响模型“能说什么”的内部表征，不一定正在输出，但被问到时可以描述出来。他们使用一种称为 Jacobian lens（J-lens）的技术，对词汇表中的每个词，找到使模型未来更可能说出该词的内部活动模式。将这些模式集合起来就是 J-space。J-space 不是显式的思维链或草稿纸，它静默地在模型内部神经激活中运作，是训练过程中自行涌现的。 J-space 的五个关键特性 可报告性：Claude 能报告 J-space 里的内容。实验让 Claude 默默想一个运动项目，J-lens 在它回答前就显示“Soccer”，Claude 随后说出“soccer”。更关键的因果验证是：直接进入神经网络移除“Soccer”模式并加入等强的“Rugby”模式，Claude 报告的运动变成了橄榄球。这说明答案确实是从 J-space 读出的，而非被动镜像。 可按需调节：让 Claude 在抄写无关句子时专注于柑橘类水果，J-space 中出现“orange”“fruits”以及描述思维活动本身的词。让它在抄写时心算 3² − 2，J-space 先出现“nine”，后出现“seven”。这些内容完全不出现在输出中。但控制不完美，告诉 Claude 不要想某件…