LLM 解码的 Token-Energy Law
来自 arXiv · 期号 2026-10-21
摘要
大模型推理的能耗一直是个黑箱：一个 token 到底耗多少电，取决于哪些因素？ 这篇论文提出了 Token-Energy Law，把每 token 的 GPU 能耗拆成两个维度：活跃字节（active bytes）和实际解码时间（realized decode time）。活跃字节又分两部分——每轮解码共享的稠密权重，以及每个请求独有的 KV 缓存。实际解码时间则是总耗时除以产出的 token 数。 两个维度组合成一个线性模型，系数对每个模型和硬件配置单独标定。实验覆盖了 NVIDIA Hopper 和 Blackwell 上的 BF16 解码，包括双卡张量并行。用固定系数加实测解码时间，对未见过的配置做能耗估计，误差不超过 3.73%。 这个模型解释了为什么批处理能摊薄权重能耗、长上下文会增加 KV 开销、吞吐量决定了每个 token 的时间成本。论文附了标定流程，可以直接套到自己的部署上。
深读
导读 大模型推理的能耗长期是个黑箱。这篇论文提出了 Token-Energy Law，一个简洁可解释的线性模型，将每 token 的 GPU 能耗拆解为活跃字节和实际解码时间两个维度。读完能理解批处理、长上下文和吞吐量分别如何影响能耗，并可直接套用其标定流程。 关键信息 - 模型将每 token 能耗拆成两个核心维度：活跃字节（active bytes）和实际解码时间（realized decode time）。 - 活跃字节又分为两部分，每轮解码共享的稠密权重，以及每个请求独有的 KV 缓存。 - 实际解码时间定义为总解码耗时除以产出的 token 数。 - 实验覆盖 NVIDIA Hopper 和 Blackwell 上的 BF16 解码，包括 Hopper 上的双卡张量并行。 - 用固定系数加实测解码时间，对未见过的配置做能耗估计，误差不超过 3.73%。 逐节讲解 问题与动机 大模型部署的能效优化需要理解模型架构、硬件配置和服务设置如何影响每生成一个 token 的能耗。现有方法往往把能耗当作黑箱处理，缺乏一个既简洁又可解释的分析框架。 Token-Energy Law 的核心框架 论文提出的 Token-Energy Law 是一个紧凑的仿射模型，将 GPU 板级每输出 token 的能耗与两个维度关联起来： - 活跃字节：描述每个输出 token 的逻辑字节需求。它区分了两类字节：一是每轮解码迭代中所有请求共享的稠密权重，二是每个请求独有、需要读取和更新的 KV 缓存。 - 实际解码时间：总解码耗时除以产出的 token 数，反映吞吐量对能耗的影响。 两个维度组合成统一的仿射形式，系数对每个模型和硬件/运行时配置单独标定。 模型解释力与实验验证 这个公式解释了三个关键现象：批处理通过摊薄共享权重的工作来降低每 token 能耗；更长的历史上下文会增加私有的 KV 缓存开销；吞吐量决定了每个 token 的时间相关成本。 实验在 NVIDIA Hopper 和 Blackwell GPU 上对三个模型进行 BF16 解码验证，包括 Hopper 上的双卡张量并行。使用固定系数和实测解码时间，对未见过的配置做能耗估计，误差不超过 3.73%。 值得注意 原文信息有限，以下基于论文摘要。论文声称模型可解释且误差很小，但摘要未披露三个模型的具体名称、参数量、批处理规模范围、以及 KV 缓存长度等关键实验细节。标定流程的具体步骤和系数获取方式在摘要中也没有展开。