TASTE：AI 模型能否评判 AI 安全研究提案
来自 Anthropic Alignment Science · 期号 2026-08-28
摘要
AI 安全研究的很多问题无法用可验证的奖励来衡量，比如预测未来 AI 系统的风险、检测模型是否在欺骗。如果未来 AI 研发速度超过人类的安全研究能力，就需要自动化安全研究，而评判研究提案是其中关键的一环。 Anthropic 发布了 TASTE 基准，包含 92 对 AI 安全研究提案，由经验丰富的研究员给出偏好标签。两个设计选择对提高人类一致性（估计 77%）很重要：一是研究员在打分前先讨论分歧再修改分数，二是只保留研究员自报“强”信心的标签。 在 TASTE 上，Fable 5 的准确率为 60%，低于人类研究员。
深读
导读 AI 安全研究中许多关键问题（如预测未来风险、检测模型欺骗）无法用可验证的奖励来衡量。如果未来 AI 研发速度超过人类的安全研究能力，自动化安全研究将成为必需，而评判研究提案是其中高杠杆的一环。Anthropic 发布了 TASTE 基准，用 92 对研究提案衡量模型判断能力，发现当前最强模型（Fable 5）准确率仅 60%，远低于人类研究员的 77%。 关键信息 - TASTE 基准包含 92 对 AI 安全研究提案，由经验丰富的研究员给出偏好标签，估计人类一致性为 77%。 - 两个设计选择对提高人类一致性很重要：研究员先讨论分歧再修改分数（一致性从 53% 升至 68%），以及只保留研究员自报“强”信心的标签。 - 在 TASTE 上，Fable 5 的准确率为 60%，而人类研究员估计为 77%；几乎所有模型的表现都在随机水平两个标准差以内。 - 在跨不同提示的 74 对提案上，Fable 5 准确率达到 69%，但在同提示提案对上表现更差，模型可能过度关注提案是否回答了原问题。 - Opus 5 和 GPT-5.6-Sol 在通用 agent 基准上处于前沿，但在 TASTE 上接近随机水平。 逐节讲解 背景：为什么需要自动化安全研究评判 AI 安全研究中，许多问题无法用可验证的奖励来衡量，例如预测未来 AI 系统的风险、检测模型是否在欺骗（这依赖于准确归因模型的信念和意图）。如果自动化 AI 研发速度超过人类缓解风险的能力，就需要自动化安全研究。评判研究提案是高杠杆的环节，有些提案比其他重要得多或可行得多，选错方向会浪费大量资源。由于最难验证的任务只能以人类判断为基准，而人类常存在分歧，因此 TASTE 聚焦于人类一致的部分，以与人类的一致性作为主要指标。 构建 TASTE 基准 TASTE 包含 92 对比较，估计人类一致性为 77%。构建分三阶段：先用 Claude Opus 4.6 的提示脚手架生成 AI 安全研究提案（基于 93 份人类提案反推提示），再招募 AI 安全研究员评分并报告信心，最后过滤保留高一致性偏好对。 研究员先对每个提案在三个维度（总体、高层思路、方法）打 1-5 分，并允许排名和报告信心。关键设计是：研究员先单独反馈，然后成对讨论分歧，再修改分数。讨论阶段加上“强”信心过滤，将估计人类一致性从讨论前的 53% 提升到 68%（提升 15 个百分点）。讨论记录显示分歧原因包括实质性争议（某种技术是否有效）和偶然因素（如第一次误读提案）。最终 TASTE 只保留“强”信心、讨论后、且分数差至少 2 分（5 分制）的偏好对，并限制每个提案最多出现 10 次以保证独立性。 评估模型的判断能力 在标准设置中，模型同时看到两个提案并给出偏好概率。Fable 5 准确率 60%，人类研究员估计为 77%。在更难的单独评分设置…