AI token 值多少钱？野生 AI 网页文本的缩放定
来自 arXiv · 期号 2026-10-01
摘要
预训练语料里 AI 生成文本越来越多。 作者在 FineWeb 过滤后的 2026 年 6 月网页数据中发现 27.5% 的 token 被标记为 AI 生成，到 8 月升至 31.1%。 他们训练了 800 个语言模型，改变 AI token 与人类 token 的比例，并拟合缩放定律。结果发现：数据不足时，加入 AI token 一开始能降低人类文本的损失，但收益很快饱和并转为损害；数据充足时，AI token 几乎立刻抬高损失。 现有缩放定律（如 Chinchilla）无法预测这一行为。作者提出了包含收益和损害两项的新缩放定律，在更小模型上拟合后，能预测 3.6 倍更大模型在人类文本上的损失，误差比现有最佳定律低 41%。 建议：以人类文本为目标时应过滤 AI 文本；在加入 AI 生成网页文本之前，先重复使用人类文本；分别报告人类和 AI 文本的验证损失。 论文附带了 830 亿 token 的 WildAI 语料库、全部 800 个模型和代码。
深读
导读 预训练语料中“野生”AI生成文本的比例正在快速攀升，这对语言模型训练效果有何影响？这篇论文通过大规模实验发现：AI文本对模型在人类文本上的表现存在先收益后损害的规律，且现有缩放定律无法预测。读完可带走一个能预测AI文本影响的新缩放定律，以及三条可操作的数据配比建议。 关键信息 - 在FineWeb过滤后的2026年6月网页数据中，27.5%的token被标记为AI生成，到8月升至31.1%。 - 作者训练了800个语言模型，改变AI token与人类token的比例，并拟合缩放定律。 - 数据不足时，加入AI token一开始能降低人类文本的损失，但收益很快饱和并转为损害；数据充足时，AI token几乎立刻抬高损失。 - 现有缩放定律（如Chinchilla）无法预测这一行为。 - 作者提出的新缩放定律包含收益和损害两项，在更小模型上拟合后，能预测3.6倍更大模型在人类文本上的损失，误差比现有最佳定律低41%。 - 论文发布了WildAI语料库，包含830亿token，附带AI、主题和格式标签，以及全部800个模型和代码。 逐节讲解 问题：野生AI文本正在污染预训练语料 论文指出，网页文本是预训练数据的主体，且其中AI生成的比例正在快速上升。与精心设计的合成数据或模型崩溃实验不同，这些“野生”AI文本来自多种模型、面向人类读者编写，且未经标注地混入预训练语料。作者的核心问题是：这种野生AI文本如何影响语言模型的预训练效果？ 实验：800个模型，改变AI与人类文本比例 作者预训练了800个语言模型，系统性地改变训练数据中AI token与人类token的比例。实验发现两个关键模式：当训练数据总量不足时，加入AI token最初能降低模型在人类文本上的损失（即收益），但这一收益很快饱和，继续加入AI token反而会抬高损失（即损害）；而当训练数据中人类文本已经充足时，加入AI token几乎立刻导致损失上升，而同等数量的新人类文本则能持续降低损失。 新缩放定律：用两项分别刻画收益与损害 现有缩放定律（如Chinchilla）无法预测上述行为。作者提出一个新的缩放定律，包含独立的收益项和损害项，使得AI token的价值可以随条件改变符号（从正变负），且在无AI文本时退化为Chinchilla定律。在更小模型上拟合后，该定律能预测3.6倍更大模型在人类文本上的损失，误差比现有最佳定律低41%。 建议与资源 基于实验结果，作者提出三条建议：当目标是在人类文本上表现良好时，应过滤AI文本；在向训练数据中加入AI生成的网页文本之前，先重复使用已有的人类文本；在报告验证损失时，应分别报告人类文本和AI文本上的损失。论文还发布了WildAI语料库（830亿token，附带AI、主题和格式标签）以及全部800个模型和代码。 值得注意 本文基于论文摘要，未看到实验的具…