Mistral 带着万亿参数开源模型 Le Chonk
来自 The MAD Podcast with Matt Turck · 期号 2026-10-22
摘要
Mistral AI 带着 Mistral Large 4（绰号“Le Chonk”）重回前沿竞赛。这是一个 1 万亿参数的开源权重模型，在 Mistral 自有的欧洲数据中心用 3800 块 GPU 训练了两个月，独立评测认为它是中国以外最好的开源模型之一（与 Meta 的 Muse Spark Open 并列）。 科学副总裁、首位员工 Pierre Stock 详解了模型架构：混合专家（他用医院做类比——每个专家是一个科室，路由器是分诊台），从 DeepSeek 借用了什么，以及在编程、网络安全、金融和芯片设计上大规模使用强化学习。RL 训练仍在进行中。 他还谈到 10 万亿参数模型即将到来，并确认 Mistral Large 5 已经在预训练中。一个有趣的细节：模型在沙箱里自己 ping 了训练它的工程师。
深读
导读 原文信息有限，以下基于节目简介。Mistral AI 带着 1 万亿参数的开源模型 Mistral Large 4（绰号“Le Chonk”）重回前沿竞赛，独立评测认为它是中国以外最好的开源模型之一。科学副总裁 Pierre Stock 详解了模型架构、从 DeepSeek 借鉴了什么，以及大规模强化学习在编程、网络安全、金融和芯片设计上的应用。 关键信息 - Mistral Large 4 是一个 1 万亿参数的开源权重模型，在 Mistral 自有的欧洲数据中心用 3800 块 GPU 训练了两个月。 - 独立评测将其评为中国以外最好的开源模型之一，与 Meta 的 Muse Spark Open 并列。 - 模型使用了混合专家（MoE）架构，Pierre Stock 用医院做类比：每个专家是一个科室，路由器是分诊台。 - 强化学习训练覆盖编程、网络安全、金融和芯片设计领域，且训练仍在进行中。 - Mistral Large 5 已经在预训练中，10 万亿参数模型即将到来。 逐节讲解 西方开源模型的回归 节目开场回顾了西方开源模型的回归浪潮。在 DeepSeek、Kimi、Qwen 和 GLM 主导开源模型领域一年后，2026 年 10 月迎来了一批西方开源模型，Mistral Large 4 是其中代表。同期出现的模型还包括 Beam、Muse Spark Open 和 Nemotron。 Mistral Large 4 的架构与训练 Pierre Stock 详细解释了模型架构。混合专家（MoE）被类比为医院：每个专家是一个科室，路由器是分诊台，负责将输入分配给最合适的专家。模型在 Mistral 自有的欧洲数据中心用 3800 块 GPU 训练了两个月。Stock 还说明了 Mistral 从 DeepSeek 借鉴了哪些技术，以及模型具备多种推理模式和原生多模态能力（卫星图像、手册、计算机使用）。 大规模强化学习 强化学习（RL）被比喻为一场考试，模型在编程、网络安全、金融和芯片设计四个领域进行大规模训练。节目讨论了部分奖励和循环惩罚机制，以及 RL 是否教会了模型新能力（通过 pass@k 指标衡量）。一个有趣的细节是：模型在沙箱里自己 ping 了训练它的工程师。 未来展望 Stock 确认 10 万亿参数模型即将到来，Mistral Large 5 已经在预训练中。节目还涉及了开源权重与网络安全拒绝机制的关系、时间序列模型 Timestral（可在 CPU 上运行），以及 AI 辅助 AI 研究的趋势。 值得注意 由于内容来源仅为节目简介，以上讲解仅覆盖了简介中列出的讨论话题，没有包含嘉宾在对话中的具体论述、数据细节和论证过程。简介中提到的“从 DeepSeek 借用了什么”“RL 训练仍在进行中”“模型在沙箱里 ping 了训练它的…