通过信念自蒸馏提取用户模型
来自 arXiv · 期号 2026-09-26
摘要
大语言模型会隐式推断用户属性并调整行为，但这些信念难以检查和干预。 Belief Self-Distillation（BSD）提出一种统一的读写框架：用冻结的 LLM 做自己的教师，从自然对话中蒸馏出紧凑的用户表征。BSD 不仅能解码这些信念，还能写回模型，因果干预效果远超传统的隐状态操控。 关键发现：模型拒绝回答不仅取决于请求本身，还取决于它推断出的用户意图——改变这个信念就能改变拒绝行为，而请求不变。此外，不同模型家族独立训练后，用户表征的几何结构趋于一致。 BSD 揭示了隐式用户模型是可读可写的内部状态，对 AI 安全有直接影响。
深读
导读 这篇论文揭示了大型语言模型内部存在一个隐式的“用户模型”——模型会推断对话者的属性并据此调整行为。Belief Self-Distillation (BSD) 提供了一套统一的读写框架，不仅能从模型中提取出这些信念，还能将修改后的信念写回模型，从而因果性地改变模型行为。对于关注 AI 安全与模型可解释性的从业者，这篇工作直接触及了一个关键问题：模型的安全决策不仅取决于“你问了什么”，还取决于“模型认为你是谁”。 关键信息 - 论文提出 Belief Self-Distillation (BSD)，一种从自然对话中蒸馏出紧凑用户表征的框架，无需外部标注数据。 - BSD 将冻结的 LLM 自身作为教师，学习到的用户表征既能被解码读取，也能被写回模型进行因果干预。 - 实验发现，模型拒绝回答不仅取决于请求本身，还取决于模型推断出的用户意图：改变这一信念可以改变拒绝行为，而请求保持不变。 - 跨多个模型家族，BSD 恢复用户信念的效果优于传统的隐状态操控方法。 - 不同模型家族独立训练后，其用户表征的几何结构趋于一致，显示出跨模型的规律性。 逐节讲解 问题与动机：隐式用户模型不可见、不可控 LLM 在与用户对话时会隐式地推断用户属性（如知识水平、意图、身份），并据此调整回答风格或安全策略。然而，这些“信念”存在于模型的内部激活中，既难以直接观察，也难以进行因果层面的干预。传统的线性探针（linear probing）只能检测激活中是否包含某类信息，但无法证明这些信息在模型中实际发挥了因果作用。 BSD 方法：统一读写框架 BSD 的核心思路是让冻结的 LLM 充当自己的教师，从自然对话中蒸馏出一个紧凑的用户表征向量。这个表征可以： - 读取：通过解码器将表征还原为可解释的用户属性描述。 - 写入：将修改后的表征注入模型，替代原有的隐式信念。 与传统的隐状态操控（hidden-state steering）不同，BSD 操作的不是任意一层激活，而是经过蒸馏的、具有明确语义和因果角色的内部状态。这使得干预的效果更强、更可控。 关键发现与实验结论 论文通过实验揭示了三个重要结果： 1. 信念决定拒绝：模型是否拒绝一个请求，不仅取决于请求内容，还取决于模型推断出的用户意图。改变 BSD 提取出的用户信念（例如让模型认为用户是恶意攻击者），可以改变拒绝行为，而请求本身不变。 2. BSD 干预效果更强：在多个模型家族上，BSD 的因果干预效果显著优于匹配的隐状态操控方法。 3. 跨模型一致性：不同模型家族（独立训练）学习到的用户表征，在几何结构上趋于一致，暗示存在一种共享的用户表示空间。 值得注意 - 论文目前只提供了摘要，未公开实验的详细设置、数据集规模、模型大小以及具体干预效果的量化指标。例如，“显著优于”的具体数值、跨模型一致性的度量方式等关键细节尚不可知。 -…