Scaling Indic Pretraining
来自 Hugging Face · 期号 2026-10-16
摘要
NVIDIA 与 IIT Madras 的 AI4Bharat 实验室联合发布了 Nemotron-pretraining-Indic-v1 语料库，包含约 2.8 万亿 token，覆盖印度宪法规定的 22 种语言，同时开源了用于生成该语料的 GPU 加速数据管线。 语料库为全部 22 种语言提供原生文字数据，并为其中 12 种额外提供罗马化文本。数据源自 15 个精选英文子集，涵盖网页文本、数学、代码和问答内容。管线使用 Gemma-4-31B-it 进行整文档翻译、质量评估（阈值 75/100）和定向修复，共回收 4384 亿 token。 在 Nemotron 3.5 Super VL 的持续预训练阶段，加入 100 亿 Indic token（占 1000 亿总预算的 10%）后，模型在全部五个报告的 Indic 知识和推理基准上均有提升，增幅在 4.98 到 9.82 个百分点之间。 开源配方让团队可以复现或改编数据生成流程，用于自己的源材料。
深读
导读 NVIDIA 与 IIT Madras 的 AI4Bharat 实验室联合发布了 Nemotron-pretraining-Indic-v1 语料库，包含约 2.8 万亿 token，覆盖印度宪法规定的全部 22 种语言，并开源了用于生成该语料的 GPU 加速数据管线。这篇文章详细介绍了语料库的构成、两套数据生成流程、质量评估机制，以及将其中 100 亿 token 用于 Nemotron 3.5 Super VL 持续预训练后的效果提升。对于关注多语言模型预训练数据构建、低资源语言数据增强的从业者，这是一份可复现的技术方案。 关键信息 - 语料库包含约 2.8 万亿 token，其中原生文字数据 2,601.0 亿 token，罗马化文本 224.6 亿 token（使用 Gemma-4 tokenizer 计数）。 - 覆盖印度宪法规定的全部 22 种语言，为其中 12 种提供原生文字和罗马化两种文字形式，共 34 种语言-文字配置。 - 数据源自 15 个 Nemotron-CC-v2 子集，涵盖网页文本、数学、代码和问答内容。 - 数据生成管线使用 Gemma-4-31B-it 进行整文档翻译、质量评估（阈值 75/100）和定向修复，通过反馈式重写回收了 4,384 亿 token。 - 在 Nemotron 3.5 Super VL 的持续预训练阶段，加入 100 亿 Indic token（占 1,000 亿总预算的 10%）后，模型在全部五个报告的 Indic 知识和推理基准上均有提升，增幅在 4.98 到 9.82 个百分点之间。 逐节讲解 语料库构成：22 种语言、两种文字形式 语料库分为两组语言配置：12 种语言同时提供原生文字和罗马化文本（孟加拉语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、尼泊尔语、奥里亚语、旁遮普语、泰米尔语、泰卢固语、乌尔都语），另外 10 种语言仅提供原生文字数据（阿萨姆语、博多语、多格拉语、克什米尔语、孔卡尼语、迈蒂利语、曼尼普尔语、梵语、桑塔利语、信德语）。文章特别说明，原生文字数据仍然是翻译自英文，而非原始印地语文本；罗马化文本则是用拉丁字母拼写的印地语内容，不是英文翻译。 数据生成管线：两套工作流 12 语言工作流：使用 NeMo Data Designer 框架和 Gemma-4-31B-it 模型，对英文文档进行整文档翻译（保留代码、公式、URL 等不翻译内容）。翻译后用同一模型基于 MQM（多维质量指标）框架评估输出，从意义、流畅度、术语、风格和格式五个维度打分，仅保留得分不低于 75/100 的输出。低于阈值的输出根据评估反馈进行定向修复后重新评估，这一过程回收了 4,384 亿 token。被接受的原生文字翻译再通过子集转换得到罗马化文本，文章称这种两步法（先翻译再转写）比直…