安全中训练：把 LLM 安全内化为基础能力
来自 arXiv · 期号 2026-10-20
摘要
大语言模型的安全对齐通常在 post-training 阶段进行，但后续训练一旦不再包含安全数据，安全能力就会退化，而且安全与通用能力之间往往存在此消彼长的矛盾。 这篇论文提出「安全中训练」（safety mid-training），在 pre-training 与 post-training 之间插入一个阶段，让模型同时学习安全推理与通用推理。做法是：给基础模型同时输入安全提示和通用提示，让它生成结构化的文档与推理轨迹，再用这些数据做中训练。 在 Qwen3-1.7B、4B 和 8B 上，安全中训练使平均攻击成功率（ASR）相对下降 72% 到 81%，同时通用能力也有提升。后续只做通用 SFT 或 GRPO 时，中训练过的模型仍然保持较低 ASR，且后续 RL 从中训练模型出发能到达更好的安全-效用前沿。 论文认为，安全与通用推理共享同一套推理结构（理解意图、应用知识、推理后果），把两者放在同一个中训练阶段学习，可以减少安全与效用之间的权衡，并使安全能力对后续训练更鲁棒。
深读
导读 这篇论文提出了一种新的训练范式「安全中训练」(safety mid-training)，在预训练与后训练之间插入一个阶段，让大语言模型同时学习安全推理与通用推理。核心发现是：安全与通用能力共享同一套推理结构，因此可以在一个阶段内共同训练，从而缓解两者此消彼长的矛盾。读完能带走一个具体结论：在 Qwen3 系列模型上，安全中训练使攻击成功率平均下降 72% 到 81%，且后续只做通用 SFT 或 GRPO 时安全能力仍能保持。 关键信息 - 安全中训练在 Qwen3-1.7B、4B 和 8B 三个规模的基础模型上，使平均攻击成功率（ASR）相对下降 72% 到 81%。 - 经过安全中训练的模型，在后续只做通用 SFT（不含安全数据）后，仍然保持较低 ASR，且通用能力没有牺牲。 - 在后续只做通用 GRPO（不含安全奖励）时，中训练过的模型同样保留了安全能力。 - 从安全中训练模型出发进行后续强化学习（RL），能到达比从基础模型出发更好的安全-效用前沿。 逐节讲解 问题：安全对齐的退化与权衡 当前大语言模型的安全对齐主要在后训练阶段进行。但论文指出两个问题：一是后续训练一旦不再包含安全数据，安全能力就会退化；二是安全能力的提升往往以通用能力下降为代价。这种此消彼长的关系暗示，安全和通用推理不应被当作两个独立的训练目标。 核心观点：共享推理结构 论文的核心论点是，安全推理与通用推理共享同一套推理结构：两者都需要模型理解意图或任务目标、应用相关知识、推理潜在后果。因此，安全可以被视为一种可以通过与通用任务共享的推理结构来学习的能力，而不是一个需要单独强加的外部约束。 方法：安全中训练 论文在预训练与后训练之间插入一个「安全中训练」阶段。具体做法是：给基础模型同时输入安全提示和通用提示，让模型生成结构化的文档与推理轨迹，然后用这些数据做中训练。这样，模型在一个阶段内同时学习安全推理与通用推理。 实验结果：安全与效用双提升 在 Qwen3-1.7B、4B 和 8B 三个模型上，安全中训练使平均 ASR 相对下降 72% 到 81%，同时通用能力也有提升。更重要的是，这种安全能力的保持是持久的：后续只做通用 SFT 或 GRPO 时，中训练过的模型仍然保持较低 ASR，且后续 RL 从中训练模型出发能到达更好的安全-效用前沿。论文认为，这些结果表明在共享的中训练阶段学习安全与通用推理，可以缓解安全与效用之间的权衡，并使安全对后续训练更加鲁棒。 值得注意 论文的结论建立在 Qwen3 系列模型上，规模最大为 8B，在更大模型（如 70B 以上）上的效果尚未验证。此外，论文只给出了摘要层面的方法描述——「生成结构化的文档与推理轨迹」的具体格式、数据来源和规模、训练超参数等关键细节在可见部分中没有展开。