LoRA-Norm：后训练归一化解决 LoRA 适应不平
来自 arXiv · 期号 2026-10-02
摘要
LoRA 微调会让模型在目标任务上变强，但可能损害其他能力。 作者发现问题的根源是「适应不平衡」：训练后的更新矩阵里，少数几个奇异方向占据了绝大部分增益，导致模型对增益分配很敏感。 他们提出 LoRA-Norm，一种后训练归一化方法：保留学到的方向，但用固定非线性变换重新分配奇异值，再通过核范数恢复保持总谱质量不变。不需要校准数据，不增加推理开销。 在两个基座模型和三个任务上，LoRA-Norm 在目标任务表现和原有能力保持上都优于谱剪枝和梯度引导编辑。实验还发现，让各方向响应更均衡并不总能带来额外提升——平衡增益和均衡响应是两回事。
深读
导读 LoRA 微调能让模型在特定任务上变强，但往往会损害其原有能力。这篇论文找到了问题的根源——「适应不平衡」：更新矩阵中少数几个奇异方向占据了绝大部分增益。作者提出的 LoRA-Norm 是一种后训练归一化方法，无需校准数据、不增加推理开销，就能在保持目标任务性能的同时更好地保留模型原有能力。 关键信息 - 问题根源被定义为「适应不平衡」：LoRA 训练后的更新矩阵中，少数几个奇异方向主导了增益分配，导致模型对增益的分配方式高度敏感。 - 作者提出「学习在哪里适应，并不保证适应增益被均衡分配」这一核心论点，将方向学习和增益分配拆解为两个独立问题。 - LoRA-Norm 包含两个步骤：谱重平衡（对奇异值施加固定非线性变换）和核范数恢复（保持原始总谱质量不变），两者结合实现增益重分配。 - 在两个基座模型和三个适应任务上，LoRA-Norm 在目标任务表现和原有能力保持两个指标上，均优于谱剪枝和梯度引导编辑两种后处理方法。 - 实验发现，让各方向响应更均衡（functional equalization）并不总能带来额外提升，说明平衡增益和均衡响应是两个不同的目标。 逐节讲解 问题：LoRA 微调为何会损害原有能力 LoRA 通过低秩矩阵对模型进行高效微调，使其在目标任务上表现更好。但作者发现，训练后的更新矩阵中，少数几个奇异方向（singular directions）占据了绝大部分增益，导致模型对增益的分配方式非常敏感，这就是「适应不平衡」。这意味着，LoRA 虽然学会了「往哪个方向调整」，但并没有学会「每个方向该分多少增益」。 方法：LoRA-Norm 的后训练归一化 作者提出，方向学习和增益分配应该分开处理。LoRA-Norm 保留训练中学到的方向（即奇异向量），只对奇异值进行重分配。具体做法分两步：先用一个固定的非线性变换重新分配奇异值（谱重平衡），再通过核范数恢复保持原始的总谱质量不变。整个过程不需要任何校准数据，也不增加推理时的计算开销。 实验与发现 在两个基座模型和三个适应任务上，LoRA-Norm 在目标任务表现和原有能力保持两个指标上，都优于谱剪枝和梯度引导编辑这两种后处理方法。一个值得注意的发现是：进一步让各方向的响应变得更均衡（functional equalization）并没有带来一致的额外提升。这说明「平衡增益」和「均衡响应」是两个不同的优化目标，不能混为一谈。 值得注意 - 论文目前只有摘要和核心论点，具体的方法细节（如非线性变换的具体形式、核范数恢复的实现方式）以及实验设置（基座模型名称、任务类型、对比方法的配置）在可见文本中均未展开。 - 实验结论「更强功能均衡无一致增益」来自摘要，但该结论的适用范围（是否对所有任务和模型都成立）以及统计显著性均未说明。