构建多语言桥梁：数据混合是语言内推理泛化的支柱
来自 arXiv · 期号 2026-09-10
摘要
推理语言模型几乎全是英语中心：不管用户用什么语言提问，模型都用英语推理。 这篇论文要解决的是 L2 推理——让模型用用户提问的语言来推理，在提示和答案之间搭一座「同语言」的桥。 作者从数据入手，优化 SFT 阶段的数据组成和调度，训练了 Tiny Aya L2-Thinker（3.35B 参数）。在 60 种语言、6 个 benchmark（数学、常识推理、指令跟随、开放生成、文化推理）上，L2 推理率超过 93%，同时保持了强性能。 关键发现：把 L2 推理泛化到未见过的语言，需要更广的语言覆盖、现成的多语言非推理数据、以及足够的英语推理骨干。推理是一种与语言无关的行为，可以通过精细的数据混合跨语言迁移，不需要在每个目标语言上都做推理监督。 模型权重和推理数据已开源。
深读
导读 这篇论文直面当前推理语言模型“英语中心主义”的缺陷：无论用户用什么语言提问，模型内部都用英语推理。作者从数据混合的角度切入，通过优化监督微调（SFT）阶段的训练数据组成与调度，训练出仅3.35B参数的Tiny Aya L2-Thinker，在60种语言的6个基准测试中实现了超过93%的L2推理率（即用用户提问的语言进行推理），同时保持了强性能。对于关注多语言AI、推理泛化或低资源语言应用的从业者，这篇工作提供了一个数据驱动的、可复现的解决方案。 关键信息 - 模型规模：Tiny Aya L2-Thinker 参数量为 3.35B。 - L2 推理率：在 60 种语言、6 个基准测试（数学、常识推理、指令跟随、开放生成、文化推理）上超过 93%。 - 核心发现：将 L2 推理泛化到未见过的语言，需要更广的语言覆盖、现成的多语言非推理数据、以及足够的英语推理骨干。 - 结论：推理是一种与语言无关的行为，可以通过精细的数据混合跨语言迁移，不需要在每个目标语言上都做推理监督。 - 开源：模型权重和多语言推理数据已发布。 逐节讲解 问题：推理模型的英语中心主义 当前推理语言模型在复杂任务上取得了显著进展，但其能力几乎完全以英语为中心：无论用户用什么语言提问，模型内部都用英语进行推理。这带来了三个问题：对非英语用户不友好、可能丢失原始问题的意图、以及放弃了目标语言中更容易表达的知识。论文将解决这一问题的能力定义为 L2 推理，让模型始终用用户提示的语言进行推理，在提示和答案之间构建一座“同语言”的桥梁。 方法：数据驱动的 SFT 优化 作者从数据角度入手，研究如何优化监督微调（SFT）阶段的数据组成和调度，以实现推理泛化。他们训练了 Tiny Aya L2-Thinker（3.35B 参数）。实验覆盖了 60 种语言，在 6 个基准测试（涵盖数学、常识推理、指令跟随、开放生成和文化推理）上，L2 推理率超过 93%，同时保持了强性能。 关键发现与结论 论文揭示了泛化 L2 推理到未见语言的路径：需要更广的语言覆盖、现成的多语言非推理数据、以及足够的英语推理骨干。这些发现表明，推理是一种与语言无关的行为，可以通过精细的数据混合跨类型多样的语言进行迁移，而不需要在每个目标语言上都提供推理监督。作者已开源模型权重和多语言推理数据，以支持可访问的、同语言推理的进一步研究。 值得注意 - 由于原文为论文摘要，内容高度浓缩，具体的数据混合策略（如不同语言数据的比例、调度顺序）、基准测试的详细结果（如各语言的具体得分）以及模型架构细节均未展开。