蒸馏防御在强化学习后容易被攻破
来自 arXiv · 期号 2026-09-29
摘要
蒸馏攻击通过收集闭源模型的推理轨迹来低成本复制其能力。现有防御措施通常在蒸馏后立即评估，但攻击者可以在蒸馏后继续用强化学习训练模型。 实验表明，强化学习降低了蒸馏攻击的门槛：一些在蒸馏后看似有效的防御，在后续强化学习后可以被攻破。简单的攻击就能从现有 API 获取的数据中窃取推理能力，效果与提取完整隐藏轨迹的复杂攻击相当。 结论是，任何泄露了足以重建近似推理轨迹信息的蒸馏防御都可能是无效的。论文讨论了批量级蒸馏防御等更有效的方向。