用冻结多 token 预测加速 Pixel 上的
来自 Google Research · 期号 2026-06-27
摘要
Google 在 Pixel 设备上部署 Gemini Nano 时，采用了一种名为“冻结多 token 预测”（frozen Multi-Token Prediction）的推理加速技术。 传统模型一次只预测下一个 token，而该方法让模型在单次推理中同时预测多个后续 token，从而减少推理步数。Google 将这一能力“冻结”到模型权重中，使其在推理时无需额外计算开销。 在 Pixel 9 上，该技术使 Gemini Nano 的推理速度提升了约 2 倍，同时保持了输出质量。 论文附了开源代码。
深读
导读 Google 在 Pixel 9 和 10 系列上部署了一种名为“冻结多 token 预测”（frozen Multi-Token Prediction）的推理加速技术，让端侧 Gemini Nano v3 模型在不改变输出质量的前提下，推理速度提升 50% 以上。它通过给已部署的模型“加装”一个轻量级预测头，让模型单次推理就能同时生成多个 token，从而绕过传统自回归生成的内存带宽瓶颈。读完本文能理解这项技术的核心设计，冻结主干、零拷贝架构，以及它在真实手机上的性能收益。 关键信息 - 传统自回归模型生成 N 个 token 需要 N 次前向推理；MTP 让单次推理平均多预测近两个 token，从而减少推理步数。 - MTP 头是一个轻量级 Transformer 堆栈，附加在已冻结的 Gemini Nano v3 模型最终层上，只训练这些新增参数，不改变原模型权重。 - 零拷贝架构让 MTP 头直接交叉注意力到主模型的 KV 缓存，无需维护自己的 KV 缓存，相比独立草稿模型每个实例节省 130MB 内存。 - 在 Pixel 9 上，MTP 相比参数数量相当的独立草稿模型，推理速度提升 50% 以上；在结构可预测的任务（如智能回复）中，token 接受率最高提升 55%。 - 该技术已部署到 Pixel 9 和 10 系列，用于 AI 通知摘要和校对等功能，同时降低了能耗。 逐节讲解 端侧推理的瓶颈 手机上的 LLM（如 Gemini Nano）必须在严格的功耗和内存限制下运行。标准模型采用自回归生成，每次只输出一个 token——这导致处理器利用率低、内存带宽压力大，最终拖慢用户体验并消耗电池。文章指出，这是端侧 AI 面临的核心挑战。 从独立草稿到集成预测头 传统推测解码（speculative decoding）分为两步：一个较小的草稿模型先生成候选 token，再由大模型并行验证。但独立草稿模型（如 128M 参数）会争夺有限的 RAM，且它“看不到”主模型的内部状态，只能基于文本历史做预测。MTP 的改进是将草稿功能集成到主模型中：在主模型最终层后附加一个轻量级 Transformer 头（MTP head），它直接利用主模型已经计算好的高维隐藏状态来自回归预测后续 token 序列。 冻结主干与零拷贝架构 MTP 头是“事后加装”的，主模型（Gemini Nano v3）的权重被完全冻结，只训练新增的 MTP 头参数。这意味着 MTP 纯粹是一个效率优化，不会降低原模型的能力或安全对齐。由于错误的草稿会在验证阶段被丢弃，最终输出与主模型逐 token 一致，保证了向后兼容。 更关键的是零拷贝设计：MTP 头不维护自己的 KV 缓存，而是直接交叉注意力到主模型的冻结 KV 缓存。这带来了两个好处：一是消除了草稿模型的预填充延迟（无需额…