可解释的稀疏微调 TopKLoRA
来自 arXiv · 期号 2026-10-24
摘要
在来源不明的数据上微调，如果数据里混了投毒样本，模型就会留下后门。后门很难定位和清除，安全训练也未必能洗掉。 TopKLoRA 是一种设计上就可解释的 LoRA 变体：每 token 只激活 k 个最大的 adapter 隐变量，完全靠下游损失来训练。优化压力会迫使它学到有因果功能的隐变量，不像 SAE 那样需要额外对齐。 论文用 gemma-2-2b、Qwen2.5-1.5B 和 Qwen2.5-7B 做了后门案例：在投毒指令数据集上微调出「潜伏 agent」模型，然后定位并消融了实现后门所必需的电路。TopKLoRA 产出的稀疏电路比密集 LoRA 小一个数量级，可以精准切除恶意能力而不影响指令遵循表现。 论文还提出了一种用 TopKLoRA 隐变量和梯度路由构造局部化电路模型的方法，用来验证电路搜索算法的结果。代码已开源。