LongZero：从零数据增强 LLM 长上下文推理
来自 arXiv · 期号 2026-10-22
摘要
大模型的长上下文推理能力可以通过强化学习来增强，但训练需要长、多样、有挑战且可验证的数据。人工标注太贵，自然数据太少，现有合成方法依赖外部语料或更强的教师模型。 LongZero 让模型自己给自己出题：先合成一个包含问题、答案和支撑证据的紧凑结构，再单独把证据扩展成长篇多文档上下文。它把这种自写的多跳推理任务与自写的多轮检索任务结合起来，用 GRPO 训练。 在两个模型、五个长上下文推理 benchmark 上，LongZero 都超过了用外部语料合成数据做 RL 的基线，说明这条路可行。
深读
导读 大模型的长上下文推理能力可以通过强化学习来增强，但训练数据的获取是核心瓶颈：人工标注昂贵、自然数据稀缺、现有合成方法依赖外部语料或更强的教师模型。这篇论文提出 LongZero，让模型自己给自己出题，先合成紧凑的问题-答案-证据结构，再单独扩展为长篇多文档上下文，从而在完全不依赖外部数据的情况下，用 GRPO 训练提升长上下文推理能力。读完可以了解一种“零数据”强化学习路径的可行性和当前效果。 关键信息 - LongZero 的训练数据生成分两步：先让模型合成一个包含问题、答案和支撑证据的紧凑结构，再单独将证据扩展为长篇多文档上下文。 - 训练任务包含两类自写任务：多跳推理任务和多轮检索任务，统一用 GRPO 算法训练。 - 在两个 LLM 上、五个长上下文推理 benchmark 上，LongZero 均超过了使用外部语料合成数据做强化学习的基线方法。 - 该方法不依赖外部语料、更强的教师模型或人工标注，训练数据完全由模型自身生成。 逐节讲解 问题：长上下文推理的强化学习缺数据 强化学习能有效增强 LLM 的长上下文推理能力，但训练数据需要同时满足四个条件：长、多样、有挑战、可验证。人工标注成本高，自然数据量太少不足以支撑强化学习，现有的合成方法依赖外部语料库或更强的教师模型，随着被训练的模型变强，这些外部资源越来越难获取。近期“零数据”强化学习（模型从自己提出的任务中学习）在短上下文任务上表现优异，但尚未被扩展到长上下文场景。 方法：LongZero 的两步合成与双任务训练 LongZero 的核心思路是让模型自己为自己生成训练数据，而不是在现有文档上写问答。具体分两步：第一步，模型合成一个紧凑的结构化单元，包含问题、答案以及支撑答案的证据；第二步，单独将证据扩展为一篇长篇多文档上下文。这样生成的训练数据天然具备长、多样、有挑战、可验证的特性。训练时，LongZero 将自写的多跳推理任务与自写的多轮检索任务结合起来，使用 GRPO 算法进行强化学习。 实验：在五个 benchmark 上超过基线 论文在两个 LLM 上、五个长上下文推理 benchmark 上评估 LongZero，并与使用外部语料合成数据做强化学习的基线方法对比。实验结果表明，LongZero 能够泛化到真实任务，在两个模型上均超过了基线，证明这条“零数据”路径是可行且有前景的。 值得注意 - 论文是 arXiv 预印本，发表于 2026 年 10 月，尚未经过同行评审。 - 原文是摘要（content_source 为 abstract），因此本文仅能复述论文声称的方法和结论，无法展开具体实现细节、消融实验、计算成本或失败案例。例如，两步合成中“证据扩展为长篇多文档上下文”的具体机制、GRPO 的超参数设置、五个 benchmark 的名称和具体成绩，在摘要中均未给出。