LFM2.5-DSpark 推理提速最高 3.2 倍
来自 Hugging Face · 期号 2026-08-21
摘要
LLM 推理的解码阶段通常受内存带宽限制，大部分延迟来自把权重从 DRAM 搬到 SRAM，而非计算本身。投机解码用一个小型草稿模型先生成候选 token，再由目标模型在单次前向传播中一次性验证，把加载权重的成本摊到多个 token 上。 LiquidAI 今天为 LFM2.5 系列三个模型（1.2B、2.6B、8B-A1B）发布了 DSpark 草稿模型检查点，增加一条投机解码路径。草稿模型约 3 亿参数，结合了 DFlash 风格的并行骨干、马尔可夫链顺序头和置信度调度验证器。 在 H100 GPU 上吞吐量提升最高 3.18 倍，在 M4 Max MacBook Pro 上提升最高 2.87 倍。LFM2.5-2.6B 的函数调用延迟平均降低 57%。由于贪心解码下草稿 token 必须匹配目标模型分布，输出序列与基线完全一致，benchmark 分数不变。 llama.cpp 和 SGLang 的 DSpark 集成已开源，第一天即可使用。
深读
导读 LLM 推理的解码阶段受内存带宽限制，大部分延迟来自把权重从 DRAM 搬到 SRAM。LiquidAI 为 LFM2.5 系列三个模型发布了 DSpark 草稿模型检查点，通过投机解码在不改变输出质量的前提下将吞吐量提升最高 3.18 倍。读完能了解 DSpark 的架构设计、三个草稿模型的具体加速数据，以及如何在 llama.cpp 和 SGLang 中使用。 关键信息 - DSpark 草稿模型约 3 亿参数，由三部分组成：DFlash 风格的并行骨干、马尔可夫链顺序头、置信度调度验证器。 - 在 H100 GPU 上，LFM2.5-8B-A1B 在 MATH500 上达到最高 3.18 倍加速（428 → 1362 tok/s），LFM2.5-2.6B 平均加速 2.67 倍（323 → 864 tok/s）。 - 在 M4 Max MacBook Pro 上，LFM2.5-1.2B-Instruct 在 HumanEval 上达到最高 2.87 倍加速（136 → 389 tok/s），LFM2.5-2.6B 平均加速 2.27 倍（61 → 139 tok/s）。 - LFM2.5-2.6B 的函数调用延迟平均降低 57%。 - 贪心解码下输出序列与基线完全一致，benchmark 分数不变。 - 草稿模型训练了 15 个 epoch，按最高接受率而非最低损失选择检查点。 逐节讲解 DSpark 的工作原理 LLM 推理的解码阶段是内存带宽瓶颈，延迟主要来自把模型权重从 DRAM 搬到 SRAM，而非计算本身。投机解码的思路是用一个小型草稿模型先生成候选 token，再由目标模型在单次前向传播中一次性验证，把加载权重的成本摊到多个 token 上。 DSpark 结合了三个组件：一个 DFlash 风格的并行骨干，基于目标模型的上下文特征在单次前向传播中生成所有草稿 token 的隐藏状态；一个轻量级顺序头，建模为相邻 token 之间的马尔可夫链，增加 token 间依赖关系以提高后续位置的接受率；一个置信度调度验证器，预测每个 token 的存活概率，在验证成本超过收益时剪枝低置信度后缀。 训练与架构 草稿模型遵循 DSpark 配方，使用了更大更多样的数据混合，涵盖 SFT、聊天、代码和函数调用数据。消融实验后，第一版草稿模型简化为仅含注意力机制的架构，5 层、块大小为 9。每个草稿模型在完整数据集上训练 15 个 epoch，按最高接受率而非最低损失选择检查点。三个草稿模型参数分别为 295.7M（1.2B 目标）、327.7M（8B-A1B 和 2.6B 目标）。 质量一致性 在贪心解码下，草稿 token 只有匹配目标模型分布才被接受，拒绝时由目标模型自己的 token 替代。因此输出序列与基线贪心解码完全一致，benchmar…