用 DSpark 加速视觉语言模型 LFM2.5-VL
来自 Hugging Face · 期号 2026-09-24
摘要
Liquid AI 为视觉语言模型 LFM2.5-VL-3B 发布了一个实验性的 DSpark 草稿模型。 推测解码的原理是：用一个轻量草稿模型快速生成候选 token，再由目标模型验证，从而在不改变输出质量的前提下加速推理。 草稿模型只增加 280M 参数（8.9% 的开销），采用 4 层 attention-only 架构，块大小 8-9。在 M5 Max 上解码速度提升最高 3.13 倍，端到端提升最高 2.62 倍；在 H100 上解码提升最高 2.66 倍，端到端提升最高 2.27 倍。 发布即支持 llama.cpp、MLX-VLM 和 SGLang。 推测解码只加速解码阶段，不加速视觉编码和 prefill。当这两部分已经占了大头时，即使解码提速很大，端到端收益也有限——这是 Amdahl 定律的限制。
深读
导读 Liquid AI 为其视觉语言模型 LFM2.5-VL-3B 发布了一个实验性的 DSpark 草稿模型，通过推测解码在不改变输出质量的前提下加速推理。草稿模型仅增加 280M 参数（8.9% 开销），在 M5 Max 上解码速度提升最高 3.13 倍，端到端提升最高 2.62 倍。这篇文章详细介绍了其架构、训练方法、性能基准以及使用方式，对于关注边缘端和 GPU 上 VLM 推理加速的从业者很有参考价值。 关键信息 - 草稿模型采用 4 层 attention-only 架构，块大小（block size）为 8 或 9，总参数量约 280M，仅占目标模型 LFM2.5-VL-3B 的 8.9%。 - 在 M5 Max 上，解码速度提升 2.30x 至 3.13x，端到端延迟改善 1.56x 至 2.62x；在 H100 上，解码提升 2.04x 至 2.66x，端到端提升 1.64x 至 2.27x。 - 发布即支持 llama.cpp、MLX-VLM 和 SGLang 三个推理框架。 - 推测解码只加速解码阶段，不加速视觉编码和 prefill；当这两部分已占大头时，端到端收益受 Amdahl 定律限制。 逐节讲解 推测解码在 VLM 上的工作原理 DSpark 草稿模型与文本版 LFM2.5-DSpark 采用相同架构：在目标模型的固定层（tapped layers）捕获隐藏状态，并以此为条件生成 k 个候选 token 的块。图像 patch 和文本 token 在进入这些层之前被投影到共享表示空间，因此草稿模型操作的隐藏状态向量维度与输入模态无关，推理算法与文本模型一致。 训练与架构 草稿模型使用混合了视觉语言 SFT 数据的 DSpark 配方进行训练，权重偏向预期的工作负载。通过 3、4、5 层的消融实验，最终选择了 4 层 attention-only 架构，块大小为 9。训练运行了 10 个 epoch，每轮后测量接受率，接受率随训练 token 增加而提升直至收益递减。推理时推荐块大小为 8 或 9，具体取决于硬件。草稿模型各组件参数分布为：4 层解码器堆栈 193.0M，隐藏状态投影 21.0M，Markov head 65.5M，Norms + confidence head 6.4k，总计 279.5M。 CPU 和 GPU 上的推理加速 在 M5 Max 上使用 MLX 推理，解码速度按任务不同提升 2.30x 至 3.13x，端到端延迟改善 1.56x 至 2.62x。在 M3 Ultra 上使用 llama.cpp，解码提升 1.57x 至 2.14x，端到端提升 1.30x 至 1.77x。在 H100 上，解码提升 2.04x 至 2.66x，端到端提升 1.64x 至 2.27x。所有测试均使用块大小 8，基于…