用采样做微调：SFT 比你以为的学得好
来自 arXiv · 期号 2026-10-02
摘要
后训练阶段，监督微调（SFT）和强化学习（RL）各有长短：RL 能泛化到新任务且不遗忘旧能力，但需要模型自己反复采样找到成功轨迹；SFT 可以用现成的专家数据，但容易泛化差、灾难性遗忘。 这篇论文提出一个 MCMC 采样算法，把离线的专家数据逐步转换成更接近模型当前策略的在线数据，让 SFT 也能用上 RL 的优势。在科学技能习得、数学推理、开放领域专家能力等任务上，用这个算法处理过的 SFT 在泛化和抗遗忘上都能匹敌甚至超过强在线基线。 本质上，他们把采样本身当作一个数据塑形算子，不改变学习目标，只改变数据分布。
深读
导读 这篇论文挑战了后训练领域的传统认知：监督微调（SFT）并非天生弱于强化学习（RL），问题出在数据分布上。作者提出一个 MCMC 采样算法，将离线的专家数据逐步转化为更接近模型当前策略的在线数据，让 SFT 在泛化和抗遗忘上匹敌甚至超越强在线基线。读完能带走一个核心观点：改变数据分布比改变学习目标更有效。 关键信息 - 论文提出一个 MCMC 采样算法，将离线的 off-policy 专家数据逐步转化为更接近模型当前策略的 on-policy 数据。 - 该方法不修改学习目标（SFT 的交叉熵损失不变），只改变训练数据的分布。 - 在科学技能习得、数学推理、开放领域专家能力三类任务上，经该算法处理的 SFT 在泛化和抗遗忘上匹敌甚至超过强在线基线。 - 微调后的模型展现出强分布性能，能够学习超出对基础模型分布进行锐化的能力。 逐节讲解 后训练的传统认知与矛盾 后训练阶段主要使用 SFT 和 RL 两种方法。传统观点认为：RL 能泛化到新任务且不遗忘旧能力，但需要模型通过反复采样自己找到成功轨迹；SFT 可以用现成的 off-policy 专家数据，但容易泛化差、灾难性遗忘。论文的核心动机是：能否同时利用 off-policy 数据中的特权信息（即专家已经走过的成功路径）和 on-policy 学习的优势？ 方法：用 MCMC 采样重塑数据分布 作者没有像常见做法那样修改学习目标来适配 off-policy 数据，而是反过来调整数据分布以适配 SFT 这个学习器。具体做法是引入一个 MCMC 采样算法，以参考模型（待微调的模型）为条件，逐步将 off-policy 的专家轨迹变换成更接近 on-policy 的样本。本质上，采样本身被当作一个数据塑形算子，不改变学习目标，只改变数据分布。 实验结果与更高层视角 在科学技能习得、数学推理、开放领域专家能力等任务上，用该算法处理过的 SFT 在泛化和抗遗忘上都能匹敌甚至超过强在线基线。此外，微调后的模型展现出强分布性能，能够学习超出对基础模型分布进行锐化的能力，即不只是让模型更擅长已有模式，而是真正习得了新能力。作者将这一方法定位为一种模型原生的算子，在整个后训练栈中可作为通用原语使用。 值得注意 - 这是一篇 arXiv 预印本，尚未经过同行评审。 - 论文只有摘要（1621 字符），具体算法细节、实验设置、基线对比方式、任务定义等均未展开，无法评估实验的严谨性和可复现性。