模拟控制评测
来自 arXiv · 期号 2026-10-23
摘要
控制评测衡量的是：当 AI 模型故意使坏时，安全防护还能不能拦住它。这类评测通常用专门搭建的控制环境来跑，再把结果外推到实际部署场景。但部署环境里的防护效果，很大程度上取决于控制环境没覆盖到的任务特征。 这篇论文提出用语言模型来模拟工具响应，代替真实环境做控制评测，称为模拟控制评测（SCE）。在 LinuxArena 上，SCE 预测安全性的均方根误差是 3.6 个百分点（5% 审计预算下），而另一个控制环境 BashArena 的误差是 10.1 个百分点。SCE 还原攻击策略、攻击者推理和监控推理的分布，KL 散度比 BashArena 低一个数量级以上。它还能解释 78-85% 的环境间差异。 效率上，SCE 只需要部署任务集不到 5% 的任务对采样，就能比 BashArena 更准。通过模拟发现的攻击策略，还能提升监控器在未见攻击上的表现，效果与用真实执行策略相当。 论文附了开源代码。