MiniMax M3：前沿编程、百万上下文、原生多模态
来自 MiniMax Blog · 期号 2026-06-01
摘要
MiniMax 发布 M3，一个同时具备前沿编程能力、百万级上下文和原生多模态能力的开源权重模型。 M3 采用自研的 MSA（MiniMax Sparse Attention）稀疏注意力架构。在百万 token 上下文长度下，每 token 计算量仅为上一代的 1/20，prefill 阶段加速 9 倍以上，解码阶段加速 15 倍以上。 编程与 agent 能力方面，M3 在 SWE-Bench Pro 上得分 59.0%，Terminal-Bench 2.1 得分 66.0%。团队还构建了交互式用户模拟框架，让 agent 在训练和评测中接触更接近真实生产的协作场景。 在 CUDA 内核优化测试中，M3 在约 24 小时内自主完成 147 次基准提交和 1959 次工具调用，将 Hopper FP8 硬件峰值利用率从 7.6% 提升至 71.3%，实现 9.4 倍加速。 M3 从第零步开始进行混合模态训练，支持图像和视频输入，并可操作桌面电脑。随模型一同更新的还有 MiniMax Code，支持多 agent 协作和计算机使用。
深读
导读 MiniMax 发布 M3，这是目前首个也是唯一一个同时将前沿编程能力、百万级上下文窗口和原生多模态集于一体的开源权重模型。其核心创新是自研的 MSA（MiniMax Sparse Attention）稀疏注意力架构，在百万 token 上下文下将每 token 计算量降至上一代的 1/20。如果你想了解一个开源模型如何在编程、agent 和长上下文三个维度同时逼近闭源前沿，以及稀疏注意力在工程落地上的真实收益，这篇博客值得一读。 关键信息 - M3 采用自研 MSA 稀疏注意力架构，在百万 token 上下文下，每 token 计算量为上一代的 1/20，prefill 阶段加速 9 倍以上，解码阶段加速 15 倍以上。 - M3 在 SWE-Bench Pro 上得分 59.0%，Terminal-Bench 2.1 得分 66.0%，SWE-fficiency 得分 34.8%。 - 在 CUDA 内核优化测试中，M3 在约 24 小时内自主完成 147 次基准提交和 1959 次工具调用，将 Hopper FP8 硬件峰值利用率从 7.6% 提升至 71.3%，实现 9.4 倍加速。 - M3 在 PostTrainBench 上得分 0.37，略低于 Opus 4.7（0.42）和 GPT-5.5（0.39），但明显领先于其他模型。 - MiniMax Token Plan 提供三个订阅档位：Plus 每月 20 美元（约 17 亿 token）、Max 每月 50 美元（约 51 亿 token）、Ultra 每月 120 美元（约 98 亿 token），文本、图像、语音和音乐共享同一用量池。 逐节讲解 MSA 架构：稀疏注意力实现上下文扩展 解决更复杂的 agent 任务是训练 M3 的重要目标之一，而最大的挑战之一是上下文扩展。全注意力的根本缺陷在于计算复杂度随序列长度呈二次增长。MSA 是一种新的稀疏注意力架构，通过增加预过滤阶段来避免复杂度爆炸问题。与 DSA 和 MoBA 等方法相比，MSA 能将 KV 更精细地划分为块，实现更高的有效上下文覆盖率。在算子层面，MSA 采用“KV outer gather Q”方式，以 KV 块为外循环聚合命中它的 query，每个块只读取一次且内存访问连续。在 M3 的头配置下，其算术强度比开源 Flash-Sparse-Attention 和 flash-moba 快 4 倍以上。在百万 token 上下文下，M3 的每 token 计算量仅为上一代的 1/20，prefill 阶段加速 9 倍以上，解码阶段加速 15 倍以上。多项消融实验表明，MSA 在绝大多数能力上匹配全注意力。 前沿编程与 Agent 能力 M3 在软件工程和终端执行相关的国际基准测试上达到前沿水平：SWE-Bench…