被移除安全对齐的模型可被利用
来自 Hacker News · 期号 2026-10-20
摘要
Project Discovery 的研究发现，被“abliterate”（移除安全对齐）的开源模型，在推理时可能被攻击者利用，执行恶意代码。 攻击者可以构造特殊的 prompt，让模型输出包含 shell 命令的响应，从而在用户机器上执行任意操作。 有评论指出，这本质上是模型作为代码生成工具时的注入问题，与模型是否对齐无关。
来自 Hacker News · 期号 2026-10-20
Project Discovery 的研究发现，被“abliterate”（移除安全对齐）的开源模型，在推理时可能被攻击者利用，执行恶意代码。 攻击者可以构造特殊的 prompt，让模型输出包含 shell 命令的响应，从而在用户机器上执行任意操作。 有评论指出，这本质上是模型作为代码生成工具时的注入问题，与模型是否对齐无关。
本站只做摘要与索引，全部内容版权归原作者所有。