SparseDecoding：面向解码的 LLM 剪枝
来自 arXiv · 期号 2026-10-09
摘要
大模型推理的解码阶段受内存带宽限制，延迟很高。 现有剪枝方法用自然文本算 Hessian，但解码时模型吃的是自己生成的 token，分布偏移导致剪枝效果变差。而且多数方法只优化了稀疏矩阵-矩阵乘法（SpMM），对解码阶段占主导的稀疏矩阵-向量乘法（SpMV）支持不足。 SparseDecoding 从两方面解决：算法上，用密集模型自回归生成（不含预填充）时的逐层激活构造校准矩阵，让剪枝目标对齐解码激活分布；系统上，开发了带位掩码索引和固定步长遍历的 N:M 稀疏矩阵-向量核。 在 Llama-3.1-8B、Llama-3.3-70B、Qwen3-14B/32B 上，长文本生成 benchmark 一致优于标准固定文本校准，A100 上端到端解码加速最高 1.48 倍。 论文附了开源代码。
深读
导读 大模型推理的解码阶段受内存带宽限制，延迟很高。这篇论文指出，现有基于 Hessian 的剪枝方法因校准数据与解码时实际输入分布不一致，导致剪枝效果变差，且对解码阶段占主导的稀疏矩阵-向量乘法（SpMV）支持不足。SparseDecoding 从算法和系统两方面解决了这一问题，在多个 8B 到 70B 模型上实现了最高 1.48 倍的端到端解码加速。 关键信息 - 现有剪枝方法用预收集的自然文本计算 Hessian，但解码时模型吃的是自己生成的 token，分布偏移导致剪枝后的激活分布偏离剪枝目标，损害模型性能。 - SparseDecoding 用密集模型自回归生成（不含预填充）时的逐层激活构造校准矩阵，使剪枝目标对齐解码时的实际激活分布。 - 系统层面开发了带位掩码索引和固定步长遍历的 N:M 稀疏矩阵-向量核，专门优化解码阶段占主导的 SpMV 操作。 - 在 Llama-3.1-8B、Llama-3.3-70B、Qwen3-14B/32B 上，长文本生成 benchmark 一致优于标准固定文本校准，A100 上端到端解码加速最高 1.48 倍。 逐节讲解 问题：解码阶段的剪枝为何效果不佳 大模型推理的解码阶段受内存带宽限制，延迟很高。逐层无训练网络剪枝（通过 Hessian 引导）是减少从内存读取的非零参数数量的常用方法。但现有方法用预收集的自然序列计算 Hessian，而解码时模型输入的是自己生成的 token，两者分布不同，导致 Hessian 计算结果不同，进而使生成时的激活分布偏离剪枝所用的分布，损害剪枝后模型性能。此外，多数现有剪枝方法主要优化稀疏矩阵-矩阵乘法（SpMM），对解码阶段占主导的稀疏矩阵-向量乘法（SpMV）支持不足。 方法：SparseDecoding 的双轴设计 算法层面，SparseDecoding 用密集模型自回归生成（排除预填充阶段）时的逐层激活来构造校准矩阵，从而让剪枝目标与解码时的实际激活分布对齐。系统层面，开发了优化的 N:M 稀疏矩阵-向量核，采用位掩码索引和固定步长遍历，专门加速解码阶段占主导的 SpMV 操作。 实验与结果 在 Llama-3.1-8B、Llama-3.3-70B、Qwen3-14B/32B 等代表性模型上，SparseDecoding 在长文本生成 benchmark 上一致优于标准固定文本校准方法。在 A100 GPU 上，端到端解码加速最高达到 1.48 倍。论文附有开源代码。 值得注意 本文基于论文摘要，未包含方法的具体实现细节（如 N:M 稀疏度的具体配置、校准矩阵的构造方式、与其它剪枝方法的定量对比等），这些内容需阅读全文才能获得。