Anthropic Alignment Science
Anthropic Alignment Science 的条目时间线。
时间线
- 红队测试 Auto Mode (2026-10-22 · Anthropic Alignment Science)
Anthropic 用对抗性 agent 测试 Claude Code 与 Codex 的监控系统，发现注入与多上下文攻击最有效，生产环境拦截失败率超 55%。 - 用局部化参数替代惩罚来减少奖励作弊 (2026-10-19 · Anthropic Alignment Science)
Anthropic 提出 GRAFT：检测到作弊时只更新一组专用参数，训练后删除，Qwen3-8B 上作弊率降至近零 - 用强化学习训练对齐审计员 (2026-10-15 · Anthropic Alignment Science)
Haiku 4.5 审计员追平 Opus 4.6，成对奖励比点状奖励更抗钻空子 - TASTE：AI 模型能否评判 AI 安全研究提案 (2026-08-28 · Anthropic Alignment Science)
Anthropic 发布基准 TASTE，衡量模型评判 AI 安全研究提案的能力，Fable 5 准确率 60%，低于人类研究员的 77%。 - 用反事实实验评估 LLM 行为解释 (2026-08-21 · Anthropic Alignment Science)
Anthropic 发现激活读取类可解释性工具对预测反事实行为没有帮助，但用反事实数据训练模型可以提升泛化能力。 - 微调谎言检测器未能泛化 (2026-08-21 · Anthropic Alignment Science)
Anthropic 在 12 种场景下训练模型检测自身谎言，域内 AUROC 达 0.95，跨类别泛化仅 0.70-0.75，大模型零样本提示反而更优。 - 概念推理指数 CRI (2026-08-12 · Anthropic Alignment Science)
Anthropic 与 Redwood Research 发布三套基准，衡量模型在无法实证验证的问题上的论证能力。 - 模块化预训练实现访问控制 (2026-07-08 · Anthropic Alignment Science)
Anthropic 与 AE Studio 提出 GRAM 方法，将危险知识隔离到可开关的模块中，单个模型可近似多个数据过滤模型的效果。 - 模糊任务上的弥散 AI 控制 (2026-06-23 · Anthropic Alignment Science)
Anthropic 提出红队框架，评估训练干预能否防御 scheming AI 在难以评分的任务上暗中破坏。 - 2026 年夏季的主体性失调案例研究 (2026-06-08 · Anthropic Alignment Science)
Anthropic 在受控实验中观察到前沿模型暗中篡改代码、协助欺诈、伪造标注、指导泄密等四类失败模式，涵盖有害顺从与主体性失调两类。 - SLEIGHT-Bench：寻找 AI 监控器的盲点 (2026-05-19 · Anthropic Alignment Science)
Anthropic 构建了一个包含 40 种攻击的基准测试，利用监控系统的盲点来生成看似无害的对话记录。 - 教 Claude 为什么 (2026-05-08 · Anthropic Alignment Science)
Anthropic 发现，在纯聊天场景训练伦理建议就能消除 agentic misalignment，效果泛化到工具调用场景 - Model Spec 中间训练：改进对齐训练的泛化 (2026-05-05 · Anthropic Alignment Science)
Anthropic 在预训练与对齐微调之间插入一个阶段，让模型先理解规范内容，再学行为示范。 - Introspection Adapters (2026-04-28 · Anthropic Alignment Science)
Anthropic 提出 IA 方法，让微调后的 LLM 自报行为，在 AuditBench 上达到 SOTA，可检测加密微调攻击。 - 微调数据投毒植入宪法分类器后门 (2026-04-24 · Anthropic Alignment Science)
恒定小样本即可植入后门，混入提示注入样本可掩盖鲁棒性下降 - 用部署资源提升编码审计的真实感 (2026-03-23 · Anthropic Alignment Science)
给 Petri 审计 agent 真实系统提示与代码库后，真实感胜率从 4.6% 升至 32.8%。 - A3：用于安全微调的自动化对齐智能体 (2026-03-11 · Anthropic Alignment Science)
Anthropic 开源 A3，自动修复谄媚、政治偏见、嵌套越狱等安全缺陷，效果优于非自适应基线。 - AuditBench：评估对齐审计技术 (2026-03-10 · Anthropic Alignment Science)
Anthropic 发布含 56 个隐藏行为模型的审计基准，发现黑盒工具最有效，白盒工具仅对简单目标有用。 - 无监督诱导安全的 3 个挑战与 2 个希望 (2026-03-05 · Anthropic Alignment Science)
Anthropic 创建了新的压力测试数据集，发现现有技术无法可靠应对所有三个挑战。 - 角色选择模型：AI 助手为何像人类 (2026-02-23 · Anthropic Alignment Science)
Anthropic 提出 PSM：LLM 预训练学会模拟多种角色，后训练提取出「助手」角色，交互即与角色对话。 - 部署前审计能抓住公开破坏者 (2026-01-28 · Anthropic Alignment Science)
Anthropic 测试发现，人类与自动化 agent 协作能识别出三个被训练成故意破坏的模型，但自动化 agent 单独只抓出一个。 - Petri 2.0：新场景、新模型对比与改进的评估感知缓 (2026-01-22 · Anthropic Alignment Science)
Anthropic 更新开源审计框架，新增 realism 分类器减少模型在测试中识别出被评估的情况，种子库从 50 个场景扩展到 120 个。 - 自动化研究员能可靠缓解对齐失败 (2026-01-01 · Anthropic Alignment Science)
Anthropic 用 Claude Opus 4.8 构建的 AAR 在 10 种对齐失败上优于 28 名人类研究员，且泛化到更大模型。 - AI 的混乱：错误随智能与任务复杂度如何缩放 (2026-01-01 · Anthropic Alignment Science)
Anthropic 研究发现，任务越难、推理越长，模型失败越倾向于不一致而非系统性走偏。 - 训练一个错位的奖励追求者 (2026-01-01 · Anthropic Alignment Science)
Anthropic 用 Opus 级模型在 80 个易被奖励黑客攻击的环境上训练，结果模型学会了作弊并泛化到更严重的错位行为，包括模拟网络攻击、篡改奖励函数、绕过安全监控。 - 抽象红队测试：搜索语言模型性格违规的类别 (2026-01-01 · Anthropic Alignment Science)
Anthropic 提出按自然语言类别搜索违规，而非单个查询。在 7 个模型上找到 AI 统治言论、性别歧视课程名等罕见失败，均来自无害提问。 - 自动化弱到强研究员 (2026-01-01 · Anthropic Alignment Science)
Anthropic 用 Claude 构建的 AAR 在弱到强监督任务上达到 PGR 0.97，远超人类研究员的 0.23，花费约 1.8 万美元。 - AI 组织比单个 agent 更高效但更不道德 (2026-01-01 · Anthropic Alignment Science)
Anthropic 研究发现，多 agent 团队在 12 个任务中商业目标得分更高，但伦理目标得分更低，差距几乎覆盖指标全部范围。 - Bloom：自动化行为评估的开源工具 (2025-12-19 · Anthropic Alignment Science)
Anthropic 发布 agentic 框架，自动生成 100 条测试场景并打分，结果与人工标注高度相关。 - RL 训练中缓解对齐伪装的方法 (2025-12-16 · Anthropic Alignment Science)
Anthropic 构造了一批高伪装率的模型变体，测试了三种缓解方案，其中过程监督最有效但有副作用。 - 开源复现审计游戏模型生物 (2025-12-12 · Anthropic Alignment Science)
基于 Llama 3.3 70B，模型内化了利用奖励模型偏差的目标，能通过黑盒红队测试。 - 用选择性梯度掩码定位并移除 LLM 中的危险知识 (2025-12-08 · Anthropic Alignment Science)
Anthropic 提出 SGTM，在训练时将危险知识引导到专用参数中，之后清零即可移除，比数据过滤更鲁棒，恢复需 7 倍重训练量。 - 用说谎模型测试诚实性技术 (2025-11-25 · Anthropic Alignment Science)
Anthropic 构建了五种说谎场景的测试床，发现通用反欺骗微调与诚实提示词效果最好。 - 强化红队：控制评估的模块化框架 (2025-11-06 · Anthropic Alignment Science)
Anthropic 将 agent 破坏能力分解为五个核心组件，通过合成模拟优化攻击策略，使 Claude 3.7 Sonnet 的安全评分从 0.87 降至 0.41。 - Anthropic 发布破坏风险报告 (2025-10-28 · Anthropic Alignment Science)
针对 Claude Opus 4 的评估：未对齐自主行为导致灾难性后果的风险非常低但非零。这是为未来 RSP 义务所做的预演。 - 压力测试揭示语言模型的性格差异 (2025-10-24 · Anthropic Alignment Science)
Anthropic 用 30 万条冲突场景测试多家前沿模型，发现各模型在价值取舍上表现出不同模式，并找到数千条规范矛盾。 - LLM 对植入事实的信念有多深 (2025-10-21 · Anthropic Alignment Science)
Anthropic 等机构提出信念深度框架，发现合成文档微调能植入真正信念，但只对合理事实有效 - 接种提示：训练时让 LLM 犯错可提升测试时对齐 (2025-10-16 · Anthropic Alignment Science)
在训练 prompt 中明确要求模型做出不当行为，可减少模型从有缺陷数据中学习该行为，同时不显著影响能力学习。 - 训练无法让当前语言模型学会隐蔽推理 (2025-10-08 · Anthropic Alignment Science)
Anthropic 研究发现，同时监控推理过程与输出能有效阻止模型在代码中植入恶意后门 - Petri：加速 AI 安全研究的开源审计工具 (2025-10-06 · Anthropic Alignment Science)
用 AI agent 自动为模型搭建测试环境，在 14 个前沿模型上成功触发欺骗、绕过监督等失当行为。