零数据的自对弈预训练
来自 arXiv · 期号 2026-09-25
摘要
语言模型的进步一直靠堆数据，但数据终究是人类替模型挑的。这篇论文尝试让模型自己生成对自己最有用的训练数据，把数据瓶颈换成算力瓶颈。 方法是一个自对弈框架：一个生成器负责写程序，交给通用图灵机执行，输出字节序列；一个学习器负责预测这些字节序列。生成器用强化学习训练，专门挑学习器刚好还不会的序列来出题，形成自适应课程。 关键测试是零样本迁移——生成器和学习器都没见过自然数据，但零样本 loss 随计算量呈现可预测的缩放规律。模型还出现了上下文学习能力，训练过程中自动发现了可识别的数学序列。 目前只是概念验证，离实用还很远。
深读
导读 这篇论文尝试回答一个根本问题：语言模型的训练数据能否完全由模型自己生成，从而将数据瓶颈彻底转化为算力瓶颈？它提出了一个名为“零数据自对弈预训练”的概念验证框架，让两个模型互相博弈，一个负责出题、一个负责解题，且全程未使用任何自然语言数据。读完能了解一种从所罗门诺夫归纳出发、用通用图灵机替代人类筛选数据的激进思路，以及它在零样本迁移上的初步缩放规律。 关键信息 - 框架由两个模型组成：生成器（Generator）编写程序，交由通用图灵机执行，输出字节序列；学习器（Learner）对这些字节序列进行自回归预测。 - 生成器通过强化学习训练，目标是产生恰好处于学习器能力“前沿”的序列，形成自适应课程（adaptive curriculum）。 - 测试方式是零样本迁移：生成器和学习器在训练中均未见过任何自然数据，直接评估其在自然数据集上的零样本 loss。 - 在多个自然数据集上，零样本 loss 随自对弈计算量呈现可预测的缩放规律（predictable scaling）。 - 训练过程中，模型自动出现了上下文学习（in-context learning）能力，并发现了可识别的数学序列。 逐节讲解 问题：数据瓶颈与所罗门诺夫归纳的启发 当前语言模型的进步依赖人类筛选的海量预训练数据，这本质上是人类替模型决定“什么值得学”。论文指出，一个更通用的预训练方式应让模型自己生成对自己最有用的数据，从而将限制从人类知识转移到计算资源。这一思路的灵感来自所罗门诺夫归纳（Solomonoff induction）——在所有可计算结构的空间中进行搜索。 方法：自对弈框架与通用图灵机 框架从随机初始化开始，两个模型协同训练。生成器负责提出程序，这些程序由通用图灵机（Universal Turing Machine）解释执行，输出字节序列。学习器则对这些字节序列进行自回归预测，使用标准交叉熵损失。生成器通过强化学习训练，其奖励函数设计为专门挑选学习器“刚好还不会”的序列，从而自动生成难度递增的课程。通用图灵机保证了搜索空间覆盖所有可计算的数据生成过程，几乎没有引入领域特定的结构。 验证：零样本迁移与缩放规律 为了检验这种完全自生成的数据是否对自然数据有用，论文设计了严格的零样本测试：生成器和学习器在训练中从未接触任何自然数据，直接测试其在自然数据集上的 loss。实验结果显示，零样本 loss 随自对弈计算量呈现可预测的缩放规律，说明模型从自生成数据中学到的模式能够迁移到自然数据上。此外，模型在训练过程中自动涌现出上下文学习能力，并发现了可识别的数学序列（如斐波那契数列等）。 值得注意 - 论文明确声明这是概念验证（proof-of-concept），离实用还很远。目前的结果仅展示了零样本 loss 的缩放规律，并未报告任何下游任务（如文本生成、问答）的具体性能。 - 通用图…