Beam：一个 501B 的开源模型
来自 Hugging Face · 期号 2026-10-16
摘要
Reflection 发布首个开源模型 Beam，501B 参数、23B 活跃、MoE 架构，Apache 2.0 协议。 Beam 专为编程和 agent 场景设计，支持 100 万 token 上下文。其残差连接采用逐层缩放（权重 1/√k），使隐藏状态从头到尾保持恒定尺度，避免深层信号衰减。混合注意力机制中 43 层用滑动窗口、9 层用全局注意力，KV 缓存仅需 36 KiB/token，1M 上下文时约 36 GiB。 基准测试：SWE-bench Verified 81.6%、AIME 2026 97.7%、GPQA Diamond 90.6%。BF16 权重约 1 TB，NVFP4 量化后约 280 GB，需 2-4 块 B200 部署。Hugging Face 提供 transformers、vLLM、SGLang 的 day-0 支持，以及 SFT 和 RL 训练配方。
深读
导读 Reflection 发布了首个开源模型 Beam，501B 参数、23B 活跃、MoE 架构，Apache 2.0 协议。它专为编程和 agent 场景设计，支持 100 万 token 上下文，在 SWE-bench Verified 上达到 81.6%、AIME 2026 达到 97.7%。读完这篇能了解它的架构设计（残差连接逐层缩放、混合注意力）、基准测试成绩、硬件需求以及 Hugging Face 提供的推理和训练工具。 关键信息 - 501B 参数、23B 活跃每 token，52 层 decoder，256 个 expert 每 MoE 层，每 token 路由 8 个 expert。 - 混合注意力：43 层滑动窗口（窗口大小 512 token）、9 层全局注意力，KV 缓存仅 36 KiB/token，1M 上下文时约 36 GiB。 - 残差连接采用逐层缩放：第 k 步子层输出权重 1/√k，已有流权重 √((k-1)/k)，隐藏状态从头到尾保持恒定尺度。 - BF16 权重约 1 TB，NVFP4 量化后约 280 GB，需 2-4 块 B200 部署；FP8 检查点适用于 Hopper 和 Ampere 系列芯片。 - 基准测试：SWE-bench Verified 81.6%、AIME 2026 97.7%、GPQA Diamond 90.6%、LiveCodeBench 88.3%。 - 支持五种推理强度值：low、medium（默认）、high、xhigh、max；tokenizer 自带响应模板，无需手动解析 reasoning 和 tool calls。 逐节讲解 模型概览与定位 Beam 是 Reflection 实验室发布的首个开源模型，501B 参数、23B 活跃每 token，MoE 架构，Apache 2.0 协议。它专为编程和 agent 场景设计，面向希望在自己的硬件、基础设施或云上部署前沿规模模型并进行定制的团队。模型附带一个专用的开源 Rust 推理框架，并提供了 transformers、vLLM、SGLang 的 day-0 支持，以及 SFT 和 RL 训练配方。 注意力机制 decoder 共 52 层，隐藏维度 5120。43 层使用滑动窗口注意力（窗口大小 512 token），每第六层和最后一层（共 9 层）使用全局注意力。滑动窗口层使用 RoPE，全局层不使用位置编码，而是采用 scalable-softmax query scaling：每个 query 乘以 (1 + (pos + 1) / 2048)^0.1，使 softmax 在长上下文中保持精度。注意力采用 grouped-query attention，48 个 query head、8 个 key-value head…