大语言模型的内省意识涌现
来自 Transformer Circuits Thread · 期号 2025-10-29
摘要
人类能内省——观察并推理自己的思想。大语言模型有时也会谈论自己的思考过程，但这可能是编造，而非真正的内省。 Anthropic 的研究者设计了一套实验来区分真假内省：他们向模型的激活层注入已知概念的表示，然后看模型能否察觉这些注入并准确识别它们。 在多项测试中，模型表现出一定的内省能力：能区分自己先前的内部表征与外部文本输入；能通过回忆先前的意图来区分自己的输出与人工预填充。Claude Opus 4 和 4.1 表现最好，但不同模型间的趋势复杂，且高度依赖后训练策略。 研究者还发现，模型在被要求或激励去“思考”某个概念时，可以有意识地调节自己的激活状态。 论文强调，当前模型的内省能力非常不可靠且依赖上下文，但随模型能力提升，这一能力可能继续发展。
深读
导读 大语言模型有时会谈论自己的思考过程，但这究竟是真正的内省还是编造？Anthropic 的研究者设计了一套基于激活操控的实验框架来区分两者：向模型的激活层注入已知概念的表示，然后观察模型能否察觉并准确识别这些注入。实验发现，当前最先进的模型（Claude Opus 4 和 4.1）在特定条件下确实表现出有限的内省能力，能区分内部表征与外部输入、能通过回忆先前的意图来识别自己的输出，甚至能在指令下主动调节自己的激活状态。不过，这种能力高度不可靠且依赖上下文，编造仍然是常态。读完本文能带走一套区分真假内省的实验方法论，以及对当前模型内省能力边界的清晰认知。 关键信息 - 实验方法的核心是概念注入：从模型对特定概念的响应中提取激活向量，然后注入到模型残差流中，观察模型能否在自报告中检测到这种外部操控。 - 在“注入想法”实验中，Claude Opus 4.1 和 4 能在约 20% 的试次中准确识别注入的概念（如“全大写文本”向量被识别为“大声/喊叫”），且检测发生在输出被扰动之前，说明机制发生在模型内部激活层面。 - 在“区分想法与文本”任务中，所有测试模型的表现均显著高于随机水平，模型能同时转录输入文本并报告注入的“想法”，Claude Opus 4.1 和 4 表现最佳。 - 在“检测非意图输出”实验中，当模型被预填充了不自然的输出（如“bread”）时，它会通过回忆前一轮响应之前的激活状态来否认该输出是自己的意图；但如果事后注入“bread”向量，模型则会接受该输出为有意为之。 - 在“主动控制内部状态”实验中，模型被要求“思考”或“不要思考”某个词时，其激活层中确实出现了该词的表示，且“不要思考”指令下表示强度降低但仍高于基线，这一结果在所有测试模型上均复现。 - 实验覆盖了从 Claude Opus 4.1 到 Haiku 3 的 9 个生产模型及其“仅帮助性”（H-only）变体，发现后训练策略对内省表现有强烈影响：拒绝倾向较低的变体表现更好。 逐节讲解 研究动机与核心挑战 人类（以及某些动物）能够内省，观察并推理自己的思想。大语言模型有时也会谈论自己的思考过程、意图和知识，但这可能是编造：模型从训练数据中学到了“像内省者一样说话”的剧本，不意味着它真的在检查自己的内部状态。如何区分真假内省？此前的研究观察到了模型能估计自己的知识、预测自己的行为、识别自己的输出等能力，但大多没有考察模型在完成这些任务时的内部激活状态，留下了“模型关于自己的说法是否与实际内部状态相关”这一开放问题。 实验方法论：概念注入与内省的四条标准 研究者采用概念注入技术：从模型对特定概念的响应中提取激活向量，直接注入到模型残差流的特定层，然后观察这种操控如何影响模型对自身状态的回答。通过建立内部状态与自报告之间的因果联系，可以推断模型的自报告是否真正反映了内部状态。 论文定…