多模态大模型中的对齐幻觉
来自 arXiv · 期号 2026-09-25
摘要
多模态大模型（MLLM）中，视觉与文本 token 在各层的相似度分数（如 CKA、SVCCA）常被解读为模型正在将视觉内容整合进共享表征空间。 本文通过向视觉流注入高斯噪声进行干预实验，发现 13 个模型（0.5B 到 72B）的任务准确率大幅下降，但上述四种标量指标却无法稳定区分被破坏的视觉流与原始流。作者将这一现象称为“对齐幻觉”，并追溯其根源：语言模型中的各向异性 MLP 下投影将视觉与文本 token 拉向共同的输出方向，产生了权重驱动的伪对齐。 为此，作者提出主角度间隙（PA gap），即前两个主角度余弦的差值，用以分离权重驱动的相似性与真正的多方向视觉结构。实验表明，PA gap 比标量分数更稳定地跟踪任务准确率的变化。 本文是 arXiv 论文，附有开源代码。
深读
导读 多模态大模型（MLLM）中，视觉与文本 token 在各层的相似度分数常被当作模型正在“理解”视觉内容的证据。这篇论文通过注入高斯噪声的干预实验，发现 13 个模型的任务准确率大幅下降，但四种标准标量指标却无法稳定区分被破坏的视觉流与原始流，揭示了这一“对齐幻觉”。读完本文，你会理解为什么标量相似度分数不可靠，以及作者提出的主角度间隙（PA gap）如何更稳定地跟踪任务准确率。 关键信息 - 实验覆盖 5 个模型家族、13 个 MLLM，参数量从 0.5B 到 72B。 - 四种标准标量指标均失效：CKA、SVCCA、MIR 和主角度余弦。 - 将投影器输出的视觉 token 替换为高斯噪声后，任务准确率大幅下降，但上述指标无法一致地区分被破坏的视觉流与原始流。 - 作者将失效根源追溯到语言模型中的各向异性 MLP 下投影，它把视觉与文本 token 拉向共同的输出方向，产生“权重驱动的伪对齐”。 - 提出的 PA gap 定义为前两个主角度余弦的差值，在逐步视觉破坏下比标量分数更稳定地跟踪任务准确率变化。 逐节讲解 问题：视觉-文本对齐分数被误读 多模态大模型（MLLM）中，研究者常用层级的视觉-文本 token 相似度分数（如 CKA、SVCCA）来论证语言模型正在将视觉内容整合进共享表征空间。这一解读隐含一个前提：标量对齐分数反映了内容层面的跨模态交互。论文的核心问题是：这个前提是否成立？ 方法：干预实验揭示对齐幻觉 为了检验上述假设，作者对视觉流施加了受控干预：将投影器输出的视觉 token 替换为高斯噪声。在 13 个来自 5 个模型家族、参数量从 0.5B 到 72B 的 MLLM 上，这一操作导致任务准确率大幅下降。然而，四种标准标量指标（CKA、SVCCA、MIR 和主角度余弦）均无法稳定地区分被破坏的视觉流与原始视觉流。作者将这一现象称为“对齐幻觉”。 根源：语言模型中的各向异性 MLP 下投影 作者追溯发现，对齐幻觉的根源在于共享的语言模型通路：语言模型中的各向异性 MLP 下投影将视觉与文本 token 拉向共同的输出方向，产生了权重驱动的伪对齐。由于这一成分本质上是单方向的，标量分数无法区分它和真正的多方向视觉结构。 解决方案：主角度间隙（PA gap） 为了分离权重驱动的相似性与真正的视觉结构，作者引入主角度间隙（PA gap），定义为前两个主角度余弦的差值。实验表明，在逐步视觉破坏下，PA gap 比标量分数更稳定地跟踪任务准确率的变化；在结构无关但无关的图像条件下，它还能进一步揭示内部几何结构与任务准确率脱钩的情况。 值得注意 - 本文是 arXiv 预印本，尚未经过同行评审。 - 论文附有开源代码，但摘要中未提供具体链接或仓库地址。 - 实验仅覆盖了 5 个模型家族，结论的泛化性有待在更多架构上验证。 - 作者明确指出，…