概念推理指数 CRI
来自 Anthropic Alignment Science · 期号 2026-08-12
摘要
AI 安全领域有很多问题无法通过实验或数学验证，比如 AGI 接管后的治理方案、应该优先资助哪些研究方向。Anthropic 与 Redwood Research 合作开发了一套概念推理基准套件 CRI，专门衡量模型在这类问题上的论证能力。 核心数据集 LMCA 包含 560 个立场文本和 1461 条针对这些立场的论证，每条论证都由概念研究员评分。模型的任务是判断这些论证的质量，与人类评分做对比。另外两个基准 ACCoRD 和 DTBench 分别测试模型在合作博弈和决策理论上的推理。 CRI 的网站 conceptualreasoning.ai 会持续更新新模型和新基准的得分。这项工作直接服务于一个判断：模型在无法靠试错学习的领域里，到底能不能帮人类做靠谱的推理。
深读
导读 AI 安全领域大量关键问题无法通过实验或数学验证，比如 AGI 接管后的治理方案、哪些研究方向最值得优先资助。Anthropic 与 Redwood Research 合作开发了一套概念推理基准套件 CRI，专门衡量模型在这类问题上的论证能力。读完本文，你能了解当前最强模型在概念推理上的表现、它们与人类专家的差距，以及这套基准的设计思路。 关键信息 - CRI 由三个基准组成：LMCA（概念论证判断）、ACCoRD（逻辑一致性）、DTBench（决策理论推理），当前权重分别为 60%、20%、20%。 - LMCA 核心数据集包含 560 个立场文本和 1,461 条针对这些立场的论证，每条论证都由概念研究员 Emery Cooper 评分，总计 2,140 条评分。 - 人类评分者之间的信度远高于人类与模型之间的一致性；一个约 50 条论证的验证集由 4–6 人独立评分并经过 7–8 小时讨论。 - 截至 2026 年 8 月 10 日，CRI 最高分是 Anthropic 的 Opus 5，得分 73.6（95% CI: ±2.1），远低于预估的基准天花板（约 91 分）。 - DTBench 能力部分已接近饱和，Fable 5 答对了 98% 的问题；LMCA 预计约一年后开始饱和；ACCoRD 的饱和时间不确定。 - CRI 得分自 2024 年底以来大致呈线性增长，未见放缓迹象。 逐节讲解 背景：为什么需要概念推理基准 当前 AI 训练高度依赖大量数据和可靠的性能反馈，因此模型在无法通过实验或数学验证的任务上通常表现更差。然而，降低高级 AI 风险的工作恰恰包含大量这类任务：例如，推理比任何人类都更通用的 AI 的行为、必须在第一次就做对（如 AGI 接管或 AI 协助政变）、以及涉及长期决策（如优先资助哪些研究方向）或缺乏客观正确答案的问题（如 AI 应该拥有哪些价值观）。作者将这类依赖论证而非经验验证的推理称为概念推理，并认为提升这一能力需要先能测量它。 三个基准的设计 LMCA（语言模型概念论证）：核心数据集，包含 560 个立场文本和 1,461 条反对这些立场的论证。每条论证由概念研究员按详细评分标准打分。模型的任务是判断论证质量，与人类评分对比。该数据集还支持评估模型的论证生成能力：给模型 A 一个立场文本和已有论证，让它生成新论证，再由模型 B 按评分标准打分。目前 CRI 只纳入判断能力，未来可能加入生成能力。 ACCoRD（概念推理领域一致性评估）：测试模型在概念问题上报告的观点和偏好是否逻辑一致。例如，如果模型给出概率 P(A) 和 P(A&B)，是否满足 P(A) ≥ P(A&B)。数据集包含近 14,000 条模型生成的约束，其中 567 条经过人工检查后纳入 CRI。 DTBench（决策理论基准）：407 道手工设…