Kimi K2：开源的 agent 智能
来自 Kimi Blog · 期号 2025-07-11
摘要
月之暗面开源了 Kimi K2，一个总参数量 1T、激活参数 32B 的 MoE 模型。 它在知识、数学和编码 benchmark 上达到非思考模型的 SOTA，但重点在 agent 能力上。团队用 ACEBench 风格的流水线大规模合成工具使用数据，再配合通用强化学习训练——可验证任务用规则奖励，不可验证任务让模型自己当裁判打分，同时用可验证任务的 on-policy rollout 持续更新裁判的准确率。 训练上用了自研的 MuonClip 优化器：每次更新后把 query 和 key 投影矩阵按 attention logit 的最大值重新缩放，防止 logit 爆炸。15.5T token 的预训练零 spike。 Kimi K2 支持 256K 上下文，不含视觉能力。月之暗面表示后续会加入思考与视觉。
深读
导读 月之暗面开源了 Kimi K2，一个总参数量 1T、激活参数 32B 的 MoE 模型。它在知识、数学和编码 benchmark 上达到非思考模型的 SOTA，但真正的亮点在于 agent 能力，通过大规模合成工具使用数据和通用强化学习训练，让模型能自主调用工具完成任务。读完能了解 K2 在 agent 训练上的方法论、自研 MuonClip 优化器的原理，以及当前已知的局限。 关键信息 - 总参数量 1T，激活参数 32B，采用 MoE 架构，预训练数据量 15.5T token。 - 在知识、数学、编码 benchmark 上，Kimi K2 是非思考模型中的 SOTA。 - 训练使用自研 MuonClip 优化器，通过 qk-clip 技术按 attention logit 最大值重新缩放 query 和 key 投影矩阵，15.5T token 预训练零 spike。 - 工具使用数据通过 ACEBench 风格流水线大规模合成：覆盖数百个领域、数千个工具（含真实 MCP 工具和合成工具），生成数百个不同工具集的 agent，用 LLM judge 按 rubric 筛选高质量数据。 - 通用 RL 系统对可验证任务用规则奖励，对不可验证任务让模型自判（self-judging），并用可验证任务的 on-policy rollout 持续更新裁判准确率。 - 支持 256K 上下文，不含视觉能力，月之暗面表示后续会加入思考与视觉。 逐节讲解 开源与使用场景 Kimi K2 开源了 Base 和 Instruct 两个版本。Base 版供研究者微调，Instruct 版可直接用于对话和 agent 任务。官方展示了多个使用场景：在终端中自动编辑文件、运行命令；通过 16 次 IPython 调用完成远程工作薪资数据分析并生成交互式网页；通过 17 次工具调用（搜索、日历、Gmail、航班、Airbnb、餐厅预订）规划 Coldplay 2025 伦敦行程；在 Minecraft 开发中自动管理渲染、运行测试、捕获日志并迭代修复代码。 预训练与 MuonClip 优化器 Kimi K2 基于 Moonlight（架构类似 DeepSeek-V3）进一步扩展。团队基于 scaling law 分析减少了 head 数量以提升长上下文效率，并增加了 MoE 稀疏性。扩展过程中遇到 attention logit 爆炸导致的训练不稳定问题，该问题在 Muon 优化器下比 AdamW 更频繁，而现有的 logit soft-capping 和 query-key normalization 方案效果不足。 为此提出 MuonClip 优化器，核心是 qk-clip 技术：每次 Muon 更新后，根据当前 step 的最大 attention logit 值…