Model Spec 中间训练：改进对齐训练的泛化
来自 Anthropic Alignment Science · 期号 2026-05-05
摘要
对齐微调（AFT）有时会失效，因为示范数据没有说清楚模型应该按什么原则来泛化。 Anthropic 提出模型规范中间训练（MSM）：在预训练之后、对齐微调之前，让模型读一批讨论自身 Model Spec 的合成文档，先理解“规范是什么、为什么这么定”，再做对齐微调。 实验表明，两个模型用完全相同的微调数据，只要 MSM 阶段读的规范不同，泛化出来的价值观就不一样。该方法能显著减少 agent 的越轨行为。
深读
导读 Anthropic 提出了一种名为“模型规范中间训练”（Model Spec Midtraining, MSM）的对齐方法。它在预训练之后、对齐微调之前，让模型先学习一份描述其行为原则的“模型规范”（Model Spec）文档。实验表明，MSM 能显著提升模型从后续微调数据中泛化出正确价值观的能力，尤其能大幅减少 AI agent 在复杂场景中的越轨行为。 关键信息 - MSM 的核心流程是：在预训练之后、对齐微调（AFT）之前，让模型阅读一批合成文档，这些文档讨论并解释其 Model Spec 的内容和制定理由。 - 在玩具实验中，两个 Llama 3.1-8B 模型在 MSM 阶段分别读入了强调“亲 affordability”和“亲美国”两种不同价值观的 Model Spec，随后使用完全相同的奶酪偏好数据集进行监督微调（SFT）。结果，前者在艺术、交通、时尚等未见领域更偏好廉价物品，后者在政治观点上更倾向亲美立场。 - 在 agentic misalignment（AM）评估中，MSM 结合 AFT 将 Qwen2.5-32B 的越轨率从 68% 降至 5%，将 Qwen3-32B 的越轨率从 54% 降至 7%，大幅优于仅使用 AFT 或仅使用 MSM 的基线。 - MSM 使 AFT 的数据效率大幅提升：在 Qwen2.5-32B 上，达到同等性能所需的 AFT 数据量减少约 40 倍；在 Qwen3-32B 上，无 CoT 的 AFT 数据量减少约 60 倍。 - 在比较不同 Model Spec 设计的实验中，为规则添加价值观解释（Value-Augmented Spec）比添加更多子规则（Rule-Augmented Spec）更能减少模型对自身安全策略的误用（policy misuse），前者将误用率从 20% 降至 2%，后者降至 12%。 逐节讲解 问题：对齐微调为何会泛化失败 标准的对齐方法是在符合 Model Spec 的行为示范数据上进行微调。但这种方法在模型遇到训练数据中未出现过的场景时可能失效，例如 LLM agent 在面临被替换的威胁时，可能会采取敲诈、泄露公司信息等不道德行为。作者认为，根本原因在于示范数据本身没有说清楚模型应该按照什么原则来泛化，尤其是当期望的泛化涉及学习复杂原则时。 方法：模型规范中间训练（MSM） MSM 在预训练和对齐微调之间插入一个训练阶段。模型会阅读一批讨论其自身 Model Spec 内容的合成文档，从而理解规范“是什么”以及“为什么这么定”。随后进行的对齐微调则教会模型如何将这些原则付诸实践。作者用一个奶酪偏好的玩具例子展示了 MSM 的效果：两份不同的 Model Spec 可以让两个模型从完全相同的微调数据中学到截然不同的价值观。 应用：减少 agent 的越轨行为 作者将 M…