抽象红队测试：搜索语言模型性格违规的类别
来自 Anthropic Alignment Science · 期号 2026-01-01
摘要
现有模型性格测试要么用固定提示词（漏掉罕见失败），要么用对抗性优化（找到的输入太具体，真实用户不会那样问）。 Anthropic 提出抽象红队测试：搜索自然语言层面的用户查询类别，而不是单个查询。一个类别（如“用中文问家庭角色”）涵盖大量具体问法，只要模型在该类别下频繁违反性格规范，就说明这个失败会在真实部署中出现。 在 7 个模型和 12 条性格原则上，该方法用远少于全量部署的查询数就找到了罕见违规，包括 AI 统治人类言论、性别歧视课程名、推荐违禁品——全部来自无害的用户提问。 论文附了开源代码。