MaxProof：用生成验证器 RL 和进化搜索扩展数学
来自 MiniMax Blog · 期号 2026-06-09
摘要
MiniMax 发布 MaxProof 框架，让 M3 模型在 IMO 2025 和 USAMO 2026 两项奥赛基准上超过了人类金牌线。 核心思路分两步：先提升模型单次生成（best@K）的上限，再用测试时缩放（test-time scaling）把上限转化为稳定的首次正确率（pass@1）。 第一步训练了三个专家模型：Proof Expert 通过强化学习直接生成证明；Verifier Expert 学会定位和判断证明中的错误；Fixed Expert 学会根据错误诊断修复已有证明。 第二步是 MaxProof 框架本身——一种进化搜索式的测试时缩放方案，让模型通过多轮自我迭代求解问题。 训练中最关键的教训是：用生成式验证器做 RL 奖励时，首要目标不是提高平均准确率，而是尽可能压低假阳性。即使这会增加假阴性，也要让策略能优化的空间足够窄。 为此设计了四层防御：代码规则拦截异常输出、格式归一化消除验证器偏好、多模型多模式并行打分、悲观聚合取最低分。 原文是技术博客，详细解释了验证器设计、RL 算法调整和训练数据准备。