防止模型崩溃：Fisher-Rao 视角下的合成数据训练
来自 arXiv · 期号 2026-09-17
摘要
用合成数据训练大模型会引发模型崩溃——模型逐渐忘记真实数据分布。 混合合成数据与新鲜人类数据可以防止崩溃，但需要多少人类数据才够？此前的研究给出了一个理论下限，但这个下限在高维空间里会失效，因为它依赖欧几里得度量，不适用于概率分布空间。 这篇论文改用 Fisher-Rao 度量来分析概率单纯形上的动态过程，推导出了稳定且不随维度增加而退化的收缩与不变性边界。结论是：防止模型崩溃所需的人类数据比例，与之前认为的不同。
深读
导读 这篇论文从信息几何的角度重新审视了用合成数据训练大模型导致的“模型崩溃”问题。此前研究给出了防止崩溃所需的人类数据比例下限，但该下限在高维空间会失效。本文通过引入 Fisher-Rao 度量，推导出随维度增加依然稳定的理论边界，修正了此前对所需人类数据比例的认知。 关键信息 - 模型崩溃：递归使用合成数据训练会导致模型逐渐忘记真实数据分布，形成退化反馈循环。 - 此前研究给出的防止崩溃所需的人类数据比例下限，在高维空间中会变得无效（vacuous）。 - 该失效原因在于此前分析依赖欧几里得度量（Euclidean metric），不适用于概率分布空间。 - 本文改用 Fisher-Rao 度量分析概率单纯形（probability simplex）上的动态过程，推导出收缩与不变性边界。 - 新边界不随维度增加而退化（do not become trivial），结论是防止模型崩溃所需的人类数据比例与之前认为的不同。 逐节讲解 问题背景：合成数据与模型崩溃 高质量人类数据已被日益增长的大模型需求耗尽，因此用合成数据训练 LLM 已成为常规做法。但递归使用合成数据会引发模型崩溃，一种退化反馈循环，模型逐步遗忘真实数据分布。混合合成数据与新鲜人类数据是合理的应对措施，但维持训练稳定所需的人类数据与合成数据的最低比例是多少，仍是一个开放问题。 此前方法的局限：欧几里得度量在高维失效 此前研究已为这一比例建立了形式化的理论下限。然而，该分析依赖于 \( \mathbb{R}^n \) 中的标准欧几里得度量，不适用于分类概率分布空间。因此，对于非常高维的场景，该下限会变得无效（vacuous）。 本文方法：Fisher-Rao 度量下的新边界 本文明确利用了概率单纯形的信息几何结构，在 Fisher-Rao 度量下分析训练过程的动态。由此推导出定量的收缩与不变性边界（contraction and invariance bounds），这些边界是稳定的，不会随维度增加而变得平凡。基于此，论文表明防止模型崩溃所需的有效数据比例与先前研究暗示的不同。 值得注意 本文为 arXiv 预印本，标注日期为 2026 年 9 月。由于 content_source 为 abstract，以上内容仅基于论文摘要，不涉及具体推导过程、实验设置或数值结果。