用 MoE 路由信号检测 VLM 视觉缺失
来自 arXiv · 期号 2026-09-30
摘要
多模态大模型（VLM）会回答关于不存在的物体的问题，比如问一张没有猫的图片里猫是什么颜色，模型可能照答不误。 现有检测方法依赖生成结果或隐藏状态，这篇论文提出在 MoE 架构的 VLM 中，直接利用路由层的专家选择信号来判断目标是否缺失。从 Qwen3-VL-30B-A3B-Instruct 和 Gemma-4-26B-A4B-it 中提取目标 token 的路由概率，训练一个线性分类器，在 GQA-Inpaint 上 ROC-AUC 分别达到 0.9988 和 0.9956，在外部数据集 OBER 上为 0.8095 和 0.7781。用这个信号触发选择性重审，端到端准确率分别提升 +22.25% 和 +12.17%（Qwen），+13.42% 和 +1.39%（Gemma），不修改模型权重。 信号集中在目标 token 上，在 MoE 浅层就已出现，且分布在多个可替换的专家中。跨数据集需要重新校准阈值，但误报带来的副作用有限。 论文附了开源代码。
深读
导读 多模态大模型（VLM）会回答关于不存在物体的提问，问一张没有猫的图片里猫是什么颜色，模型可能照答不误。这篇论文提出在混合专家（MoE）架构的 VLM 中，直接利用路由层的专家选择信号来判断目标是否缺失，无需修改模型权重即可触发选择性重审，在内部和外部数据集上均取得显著准确率提升。 关键信息 - 论文将 VLM 回答关于不存在物体的问题定义为“目标缺失接地失败”（target-absence grounding failure）。 - 从 Qwen3-VL-30B-A3B-Instruct 和 Gemma-4-26B-A4B-it 中提取目标 token 的路由概率，分别训练一个 L2 正则化线性分类器作为检测器。 - 仅用路由信号，Qwen 和 Gemma 检测器在 GQA-Inpaint 上的 ROC-AUC 分别达到 0.9988 和 0.9956，在外部数据集 OBER 上为 0.8095 和 0.7781。 - 路由信号触发的选择性重审策略，在 GQA-Inpaint 和 OBER 上使 Qwen 端到端准确率提升 +22.25% 和 +12.17%，Gemma 提升 +13.42% 和 +1.39%。 - 信号集中在目标 token 上，在 MoE 浅层就已出现，且分布在多个可替换的专家中。 逐节讲解 问题定义与现有方法局限 VLM 可能接受错误的视觉前提，回答关于目标物体颜色、数量、位置或状态的问题，即使该物体在图像中并不存在。现有检测方法主要依赖生成结果、隐藏状态或不确定性度量，尚未利用 MoE 架构内部的路由决策。 方法：路由信号检测与选择性重审 这是首个利用 MoE VLM 内部路由决策来检测目标缺失的框架。从 Qwen3-VL-30B-A3B-Instruct 和 Gemma-4-26B-A4B-it 中提取目标 token 的路由概率，为每个模型训练一个独立的 L2 正则化线性分类器。检测器预测目标缺失时，触发一个目标感知的重审提示（target-aware review prompt），引导模型重新审视图像并修正回答，整个过程不修改模型权重。 实验结果与分析 仅用路由信号，Qwen 和 Gemma 检测器在 GQA-Inpaint 上 ROC-AUC 分别达到 0.9988 和 0.9956，在外部数据集 OBER 上为 0.8095 和 0.7781。路由门控策略在 GQA-Inpaint 和 OBER 上使 Qwen 端到端准确率提升 +22.25% 和 +12.17%，Gemma 提升 +13.42% 和 +1.39%。进一步分析表明，信号集中在目标 token 上，在 MoE 浅层就已出现，且分布在多个可替换的专家中。 值得注意 - 跨数据集时阈值需要重新校准，但误报重审（false-positive review）整体…