大语言模型的安全推测解码
来自 arXiv · 期号 2026-10-07
摘要
推测解码（Speculative Decoding）先用一个小模型（草稿模型）生成候选 token，再由大模型（目标模型）验证是否接受，以此加速推理。 此前研究主要关注效率与效用的权衡，安全影响几乎未被触及。本文通过大规模测量发现一个显著的安全-效用不对称：在多种有损推测解码方法中，推理效率的提升以不成比例的安全代价换取——越狱和提示注入的攻击成功率增长远快于效用下降。 作者提出 SecureSD，一种理论指导的推测解码方法。理论分析表明，安全退化主要源于草稿模型在早期解码位置生成的 token。SecureSD 对这些早期 token 施加更严格的验证标准。实验显示，相比现有方法，SecureSD 在保持效率和效用的同时显著提升了安全性。 论文附了开源代码。
深读
导读 这是一篇来自康奈尔大学的研究，首次系统性地揭示了推测解码（Speculative Decoding）在加速大模型推理时存在的安全-效用不对称问题。研究发现，在多种有损推测解码方法中，推理效率的提升会以不成比例的安全代价换取，越狱和提示注入攻击的成功率增长远快于效用下降。论文同时提出了 SecureSD 方法，在不牺牲效率与效用的前提下显著提升安全性，对部署加速推理技术的工程团队有直接参考价值。 关键信息 - 研究首次系统性地测量了推测解码的安全影响，覆盖多种有损推测解码方法。 - 发现显著的安全-效用不对称：攻击成功率（越狱和提示注入）的增长速度远快于效用下降速度。 - 理论分析指出，安全退化主要源于草稿模型在早期解码位置生成的 token。 - SecureSD 对早期解码位置的草稿模型 token 施加更严格的验证标准，在安全与效用基准上均优于现有方法。 - 论文附有开源代码。 逐节讲解 研究背景与问题 推测解码是一种加速大模型推理的技术：先用一个小模型（草稿模型）生成候选 token，再由大模型（目标模型）验证是否接受。此前研究主要关注效率与效用的权衡（如各种有损推测解码方法），但安全影响几乎未被触及。本文填补了这一空白，提供了首次系统性研究。 安全-效用不对称的测量发现 通过大规模测量，研究揭示了一个显著的不对称现象：在多种有损推测解码方法中，推理效率的提升会以不成比例的安全代价换取。具体表现为，越狱攻击和提示注入攻击的成功率增长远快于效用的下降速度。这意味着，为了获得一点效率提升，安全防线可能被大幅削弱。 SecureSD 方法 基于理论分析，作者发现安全退化主要源于草稿模型在早期解码位置生成的 token。据此，SecureSD 对这些早期 token 施加更严格的验证标准。实验在安全与效用基准上进行，结果表明 SecureSD 相比现有推测解码方法，在保持效率和效用的同时显著提升了安全性。 值得注意 - 本文基于论文摘要，具体实验设置、基准名称、攻击方法细节、量化数据（如攻击成功率的具体数值、效率提升幅度）在摘要中未展开，需阅读原文获取。 - 摘要未提及 SecureSD 是否引入额外计算开销，以及严格验证标准的具体实现方式（如阈值设定）。