Kimi K3：开放前沿智能
来自 Kimi Blog · 期号 2024-06-26
摘要
Moonshot AI 发布 Kimi K3，一个 2.8T 参数的开源模型，原生支持视觉，上下文窗口 100 万 token。它是首个公开的 3T 级模型，基于 Kimi Delta Attention 和 Attention Residuals 架构。 整体性能仍落后于 Claude Fable 5 和 GPT 5.6 Sol，但在编程、知识工作和推理上优于其他被测试的模型。在 GPU 内核优化测试中，K3 与 Fable 5 表现接近，大幅领先 Opus 4.8 和 GPT 5.6 Sol。它还能从零构建一个类 Triton 编译器 MiniTriton，性能持平或优于 Triton 和 torch.compile。 模型权重将于 2026 年 7 月 27 日开源。定价为缓存命中 $0.30/MTok、缓存未命中 $3.00/MTok、输出 $15.00/MTok。官方 API 在编程场景下缓存命中率超过 90%。
深读
导读 Moonshot AI 发布了 Kimi K3，一个 2.8T 参数的开源模型，原生支持视觉和 100 万 token 上下文窗口。它是首个公开的 3T 级模型，在编程、知识工作和推理上展现出前沿水平，整体性能仍落后于 Claude Fable 5 和 GPT 5.6 Sol，但在 GPU 内核优化等特定任务上与最强模型竞争激烈。读完本文，你将了解 K3 的核心架构创新、关键 benchmark 成绩、以及它作为开源模型在生态中的定位。 关键信息 - Kimi K3 拥有 2.8 万亿参数，是首个公开的 3T 级开源模型，基于 Kimi Delta Attention (KDA) 和 Attention Residuals (AttnRes) 架构。 - 模型采用 Mixture of Experts (MoE) 架构，激活 896 个专家中的 16 个，配合 Stable LatentMoE 框架，整体扩展效率相比 Kimi K2 提升约 2.5 倍。 - 在 GPU 内核优化测试中，K3 与 Claude Fable 5 表现接近，大幅领先 Opus 4.8、GPT 5.6 Sol 和 GPT 5.5。 - K3 自主开发了编译器 MiniTriton，在 roofline benchmark 上性能持平或优于 Triton 和 torch.compile，并能端到端训练 nanoGPT。 - 模型权重将于 2026 年 7 月 27 日开源；API 定价为缓存命中 $0.30/MTok、缓存未命中 $3.00/MTok、输出 $15.00/MTok，官方 API 在编程工作负载中缓存命中率超过 90%。 逐节讲解 模型定位与架构创新 Kimi K3 是 Moonshot AI 在开源模型规模上的最新突破，过去 12 个月中有 9 个月由 Kimi 模型保持开源模型尺寸的上限。其核心架构创新包括 Kimi Delta Attention (KDA) 和 Attention Residuals (AttnRes)，前者为扩展注意力提供高效基础，后者选择性跨深度检索表示而非均匀累积。配合 Stable LatentMoE 框架（激活 896 个专家中的 16 个），以及 Quantile Balancing、Per-Head Muon、Sigmoid Tanh Unit (SiTU) 和 Gated MLA 等训练优化技术，整体扩展效率相比 Kimi K2 提升约 2.5 倍。模型从 SFT 阶段开始采用量化感知训练，使用 MXFP4 权重和 MXFP8 激活。 编程能力：从内核优化到编译器开发 K3 在长周期编程任务上表现出色，能在最小人工监督下处理大型代码库和终端工具。在 GPU 内核优化测试中，模型在 NVIDIA Hopper GPU 和另一供…