同一模型家族拿下 IOI 和 IMO 两枚金牌
来自 Hugging Face · 期号 2026-10-07
摘要
NVIDIA 用同一套 Nemotron 3 基础模型，分别微调出了 IOI 和 IMO 两场竞赛的金牌水平。 IOI 2026 系统得分 535.4/600，超过金牌线 361.12 和人类最高分 498.27。IMO 2026 系统得分 30/42，超过金牌线 29。 做法不复杂：用领域题目做 SFT 和 RL，再配一个生成-验证-改进的推理循环。两个项目共享同一套配方，只是数据不同。 所有模型、训练数据、推理代码都已开源。
深读
导读 NVIDIA 用同一套 Nemotron 3 基础模型，分别微调出了 IOI 和 IMO 两场竞赛的金牌水平。做法不复杂：领域题目做 SFT 和 RL，再配一个生成-验证-改进的推理循环。读完能带走一套可复现的模型专业化配方，以及「微调 + 推理时计算」如何协同工作的具体证据。 关键信息 - IOI 2026 系统得分 535.4/600，超过金牌线 361.12 和人类最高分 498.27；IMO 2026 系统得分 30/42，超过金牌线 29。 - IOI 结果来自一次实时、前瞻性运行，约束条件（时间、网络访问、提交次数）与人类选手相同，但未计入官方排名；IMO 提交的证明由官方评分员打分。 - 用于 IOI 的 Nemotron-3-Ultra-CC 有 5500 亿总参数、550 亿活跃参数；Nemotron-3-Nano-CC 有 300 亿总参数、30 亿活跃参数。 - IMO 项目的 SFT 训练集包含 414,890 个经过质量筛选的示例，覆盖 15,818 道独特的证明题，数据涵盖生成、精炼、验证和元验证。 - 所有模型、训练数据、推理代码均已开源，包括 Nemotron-IMO-Bench（200 道奥林匹克级题目）和 NeMo-Skills 仓库中的推理流水线。 逐节讲解 可复用的专业化配方 文章将「易于微调」重新定义为：一个能力强的基座模型可以用一套清晰的、可复用的配方适配到高要求的领域。这套配方包含四步：从强大的 Nemotron 基座模型出发；整理领域特定问题和高质推理轨迹；应用 SFT 和 RL 等标准后训练方法；将专用模型与一个能生成、评估、改进候选答案的推理循环配对。两个项目共享同一套配方，只是数据不同。 从通用编码能力到 IOI 金牌 团队为竞技编程整理了 22,000 道题目，并生成了合成推理轨迹来训练两个专用模型。Nano 版本在未后训练时得 130 分，经 SFT 后升至 280 分，再加 RL 后达 291 分。配合 GenCorrect（迭代生成-评估-精炼策略）后，Nano 达到 468 分，跨过金牌线 438.3。Ultra-CC 用同样的测试时策略达到 502 分。一个关键发现是：不同规模的模型适配方式不必相同——SFT 贡献了 Nano 的大部分提升，RL 只带来较小但稳定的增益；而对于更强的 Ultra 模型，一轮 SFT 就足以让它在多个基准上超越经过完整后训练的 Nano。 教会 Nemotron 证明、检查与修正 IMO 项目从 Nemotron 3 Ultra 出发，分别训练了 SFT 和 RL 两个专用模型。SFT 数据不仅教最终答案，还覆盖了证明生成、精炼、验证和元验证，让模型学会构建论证、识别漏洞、回应批评、判断证明是否完整。RL 模型在能力前沿附近的 9,597 道题上训练。两个…