对齐模型本身不足以防御 prompt injection
来自 Boris Cherny · 期号 2026-09-09
摘要
Anthropic 的 Boris Cherny 指出，对齐模型本身不足以防御 prompt injection。 在实践中，Anthropic 通过将最新模型与 prompt injection 探测（默认对所有流量开启）和 auto mode（也默认开启）结合，已经解决了该问题。他认为，少量的脚手架（scaffolding）起到了帮助作用。
来自 Boris Cherny · 期号 2026-09-09
Anthropic 的 Boris Cherny 指出，对齐模型本身不足以防御 prompt injection。 在实践中，Anthropic 通过将最新模型与 prompt injection 探测（默认对所有流量开启）和 auto mode（也默认开启）结合，已经解决了该问题。他认为，少量的脚手架（scaffolding）起到了帮助作用。
本站只做摘要与索引，全部内容版权归原作者所有。