Granite 4.2 是怎么做的
来自 Hugging Face · 期号 2026-08-25
摘要
IBM 发布了 Granite 4.2，这是 Granite 系列首个推理模型家族，分 3B、8B、30B 三个尺寸。 模型从零预训练，用了约 15T token，通过五阶段策略把上下文窗口扩展到 512K。之后用思维链、推理和 agent 轨迹数据做监督微调，再走多阶段强化学习管线。8B 和 30B 额外经过 agentic RL 阶段，在真实沙箱环境里学会调用工具、编辑代码、操作终端和搜索网页。 每个模型都支持思考/非思考模式切换，还有一个低功耗思考模式，对简单问题只花少量推理预算。原生支持工具调用，通过 OpenAI 兼容接口可以直接接入 agent 框架。全部模型以 Apache 2.0 协议开源。 本文是完整的技术复盘，从架构设计到训练细节都有展开。
深读
导读 IBM 发布了 Granite 4.2，这是 Granite 系列首个推理模型家族，从零预训练并经过多阶段强化学习管线。读完能了解一个完整的企业级推理模型从架构设计、预训练、监督微调到多阶段 RL 的全流程，以及不同尺寸模型在能力上的分岔点。 关键信息 - 三个尺寸：3B、8B、30B，全部为 dense decoder-only transformer 架构，使用 Grouped Query Attention（40 个 attention heads、8 个 KV heads）、RoPE（θ=10,000,000）、SwiGLU 激活函数、RMSNorm。 - 从零预训练约 15T token，采用五阶段策略将上下文窗口扩展到 512K token。 - SFT 数据共约 720 万样本（约 100B token），其中 agentic 数据占 31.6%，非 agentic 占 68.4%；agentic 数据中软件工程占 69%、工具调用 12.1%、终端使用 8.0%。 - 强化学习采用异步 GRPO，管线按能力分阶段推进：RLVR → 技能 booster → SWE agent → Terminal agent → Search agent → RLHF，每个阶段从上一阶段 checkpoint 热启动。 - 8B 和 30B 额外经过 agentic RL 阶段，在真实沙箱环境中学习工具调用、代码编辑、终端操作和网页搜索；3B 只走 foundational RL 和 alignment。 - 全部模型以 Apache 2.0 协议开源，支持思考/非思考模式切换和低功耗思考模式，原生工具调用通过 OpenAI 兼容接口输出。 逐节讲解 架构设计与预训练 Granite 4.2 采用标准的 decoder-only dense transformer。三个尺寸共享相同的架构组件：GQA、RoPE、SwiGLU、RMSNorm、bfloat16 精度。区别在于 embedding size、层数、MLP hidden size 等具体参数，例如 3B 有 40 层、embedding size 2560，30B 有 64 层、embedding size 4096。 预训练从零开始，用约 15T token，分五个阶段。前两阶段做基础预训练，三四阶段用逐步提高质量的数据 annealing，第五阶段做长上下文训练，把窗口扩展到 512K。每个阶段使用不同的数据配比和学习率调度，从大规模网页数据逐步过渡到更精选的高质量来源。 监督微调：数据配比与质量控制 SFT 数据混合了 agentic（31.6%）和非 agentic（68.4%）两类，总共约 720 万样本。agentic 数据覆盖软件工程（69%）、工具调用（12.1%）、终端使用（…