语言模型的微创引导
来自 arXiv · 期号 2026-09-25
摘要
微调大模型成本高，能不能不碰参数，只在推理时往隐藏状态里加个向量来引导输出？ 现有方法不加约束地优化奖励，输出分布会严重偏离原模型，生成质量下降。MISVO 的做法是在优化目标里加一项惩罚——用局部 KL 散度的几何结构（Fisher 二次型）来衡量每次干预的代价，这个惩罚项可以通过矩阵-向量积解析求梯度，不需要反向传播。 在偏好对齐和代码生成任务上（1B-14B 参数模型），MISVO 在七组设置中的六组拿到最高平均奖励，多样性和连贯性接近 Best-of-N。 论文附了开源代码。
深读
导读 大模型微调成本高昂，能否在不改动参数的前提下，仅通过在推理时向隐藏状态添加向量来引导模型输出？这篇论文提出了一种名为 MISVO 的方法，在优化奖励的同时，通过局部 KL 散度的几何结构（Fisher 二次型）来约束干预的代价，从而在偏好对齐和代码生成任务上，以接近 Best-of-N 的多样性和连贯性，在七组设置中的六组取得了最高平均奖励。 关键信息 - 论文提出 Minimally Invasive Steering Vector Optimization (MISVO)，一种在推理时向模型最终隐藏状态添加向量以引导输出的方法，无需更新模型参数。 - MISVO 在优化目标中引入惩罚项，使用局部 KL 散度的 Fisher 二次型来衡量每次干预的代价，该惩罚项可通过与冻结的语言模型头进行矩阵-向量积来解析计算梯度，无需反向传播。 - 论文推导了序列级 KL 梯度的精确分解，将其分为一个解析的 Fisher 项和一个后缀得分函数项，并证明在固定生成步数下，后缀项是干预幅度的二阶小量。 - 在约 1B 到 14B 参数的模型上，针对偏好对齐和代码生成任务，MISVO 在七组模型-任务设置中的六组取得了最高平均奖励。 - MISVO 的多样性和连贯性得分接近 Best-of-N 方法。 逐节讲解 问题背景与现有方法的局限 论文指出，在冻结的语言模型上，通过在最终隐藏状态上添加向量（pre-logit steering）来适配测试时的奖励是一种低成本方案。然而，不加约束地优化奖励会显著改变输出分布，导致生成质量下降。这是现有方法的核心问题。 MISVO 的核心方法：用 Fisher 二次型约束干预代价 MISVO 的核心思路是在优化奖励的同时，加入一个惩罚项。这个惩罚项利用局部 KL 散度的几何结构，即 Fisher 二次型，来衡量每次干预对输出分布造成的扰动。该惩罚项的梯度可以通过与冻结的语言模型头进行矩阵-向量积来解析计算，从而避免了反向传播，保持了计算效率。论文还推导了序列级 KL 梯度的精确分解，证明在固定生成步数下，后缀得分函数项是干预幅度的二阶小量，因此使用 Fisher 代理项近似完整 KL 梯度在一阶上是准确的。 实验设置与结果 论文在约 1B 到 14B 参数的模型上，对偏好对齐和代码生成任务进行了评估。实验设置了七组模型-任务组合。结果显示，MISVO 在其中六组中取得了最高平均奖励。同时，其生成结果的多样性和连贯性得分接近 Best-of-N 方法，表明该方法在提升奖励的同时，较好地保持了原始模型的生成质量。 值得注意 原文为论文摘要，信息有限。具体实验设置（如使用的具体模型名称、数据集、奖励函数、与哪些基线方法对比）以及 Fisher 二次型惩罚项的超参数选择等细节，在摘要中未展开。论文附有开源代码，但摘要中未提供链接。