基础模型靠训练数据中的起始 token 提示就能推理
来自 arXiv · 期号 2026-10-06
摘要
训练数据中的起始 token 模式，能显著影响基础模型的推理表现。 研究发现，固定特定的起始 token 提示（如 ".\n\nOkay"），能让 Olmo-3-7B 在 MATH-500 上的 pass@1 准确率从 42% 提升到 78%；"Alright," 则让 Qwen3-14B 从 72% 提升到 87%。这些效果与经过强化学习（RL）训练的模型相当。 RL 训练的作用之一，正是让模型更倾向于输出这些有效的起始 token。通过因果数据干预，研究者甚至可以把一个无关词（如 "chicken"）变成有效的推理提示，或者消除已有提示的效果。类似地，把 prompt 中的 "Think step by step" 换成 "Think duck duck goose"，也能达到相近的推理效果。 不同 token cue 对应的隐藏状态表征，与训练集中不同类型的文档相关。论文还以安全对齐为例，展示了不同 cue 会引发不同的拒绝或顺从行为。
深读
导读 这篇论文揭示了一个令人惊讶的现象：基础模型（未经强化学习微调）的推理能力，很大程度上取决于其输出开头的几个 token（起始 token cue）。通过固定特定的起始词，模型在数学和编程任务上的表现可以跃升至与经过强化学习训练的模型相当的水平。读完本文，你将理解训练数据如何通过这种“提示”机制影响模型行为，以及这一发现对模型安全性的潜在启示。 关键信息 - 起始 token cue ".\n\nOkay" 使 Olmo-3-7B 在 MATH-500 上的 pass@1 准确率从 42% 提升至 78%。 - 起始 token cue "Alright," 使 Qwen3-14B 在 MATH-500 上的 pass@1 准确率从 72% 提升至 87%。 - 强化学习（RL）训练的作用之一，正是使模型更倾向于输出这些有效的起始 token。 - 通过因果数据干预，研究者可以将一个任意词（如 "chicken"）变成有效的推理 cue，或消除已有 cue 的效果。 - 将 prompt 中的 "Think step by step" 替换为 "Think duck duck goose"，也能达到相近的推理效果。 - 不同 token cue 对应的隐藏状态表征，与训练集中不同类型的文档相关。 逐节讲解 起始 token cue 对推理能力的显著影响 论文首先通过实验证明，固定特定的起始 token 模式（即模型输出开头的几个 token）可以显著提升基础模型在数学和编程任务上的表现。例如，".\n\nOkay" 使 Olmo-3-7B 在 MATH-500 上的准确率从 42% 跃升至 78%，而 "Alright," 使 Qwen3-14B 从 72% 提升至 87%。这些效果与经过强化学习训练的模型表现相当，表明基础模型本身具备推理潜力，只是需要合适的“启动信号”。 RL 训练与 token cue 的关系 论文进一步指出，强化学习训练的一个关键作用，正是让模型更倾向于输出这些有效的起始 token。换句话说，RL 并非从根本上改变了模型的推理能力，而是通过奖励机制引导模型在输出开头选择更有效的 token 模式。固定这些 cue 可以恢复 RL 模型相对于基础模型的大部分性能提升。 从训练数据中追溯 token cue 的根源 研究者通过因果数据干预，将 token cue 的推理效果追溯到训练数据。他们能够将一个无关词（如 "chicken"）通过数据干预变成有效的推理提示，也能消除已有 cue 的效果。类似地，将 prompt 中的 "Think step by step" 替换为 "Think duck duck goose"，也能达到相近的推理效果。此外，不同 token cue 对应的隐藏状态表征，与训练集中不同类型的文档存在相关性。…