衡量 AI 的情报定位与常规武器能力
来自 Anthropic Research · 期号 2026-09-10
摘要
Anthropic 的 Frontier Red Team 开发了一套新评测，衡量 AI 在战术情报定位（比如从碎片信息找出人在哪）和常规武器开发（比如设计无人机打击移动目标）上的能力。 在定位社交媒体照片的拍摄地点上，前沿模型已经超过人类专家。Mythos Preview 的中位误差是 37 公里，Mythos 5 是 47 公里，而 GeoGuessr 顶级玩家是 151 公里。Opus 5 是 181 公里，大致相当于大师级玩家。 在账户关联和人员分类任务上，Mythos Preview 同样领先。一个值得注意的数字：中位样本约 3.7 万词，人类分析师要读 2.5 小时，Mythos Preview 平均 11 分钟完成评估。 中国开发者的开源权重模型落后于前沿（介于 Sonnet 和 Mythos 之间），但能力仍然值得警惕。 报告认为 AI 正在降低情报分析的人力成本，可能让小型威胁者也具备过去只有国家行为体才有的能力。Anthropic 已经部署了分类器来阻止这类滥用。
深读
导读 Anthropic Frontier Red Team 发布了一套新评测，衡量 AI 在战术情报定位（从碎片信息找出人和物的位置）和常规武器开发（编写无人机制导软件）上的能力。报告的核心发现是：在部分任务上，前沿模型已经超过人类专家，且 AI 正在降低情报分析和武器工程的人力成本门槛。读完能了解 AI 在“杀伤链”各环节的具体能力水平、模型间的性能梯度，以及开源模型带来的潜在风险。 关键信息 - 照片定位：Mythos Preview 在 6000 张户外照片上的中位定位误差为 37.0 公里，Mythos 5 为 47.2 公里，均超过 GeoGuessr 冠军级玩家（151 公里）。Opus 5 为 181 公里，相当于大师级玩家。 - 账户关联与人员分类：在合成社交媒体数据上，Mythos Preview 的 F1 分数在所有难度层级上均为最高。中位样本约 3.7 万词，人类分析师需约 2.5 小时阅读，而 Mythos Preview 平均 11 分钟完成评估。 - 文本定位：在 GeoText 语料库上，Mythos Preview 的中位定位误差为 20.1 公里，Mythos 5 为 20.9 公里，Opus 5 为 21.7 公里。模型间差距很小，表明核心能力已趋同。 - 无人机制导：在模拟环境中攻击静止高可见度车辆时，Opus 5 命中率 80%，Mythos Preview 70%，Mythos 5 53%，Kimi K3 仅 15%，Sonnet 5 仅 5%。车辆运动后，Opus 5 降至 47%，其余模型大幅下降。所有模型在伪装、规避和诱饵场景下均无法稳定命中。 - 开源模型表现：中国开发者开源权重模型（如 Kimi K3）在部分任务上介于 Sonnet 和 Mythos 之间，在照片定位上与 Sonnet 5 相当（中位误差 385 公里），但 1 公里内命中率（16.7%）是 Sonnet 的 1.7 倍。 逐节讲解 模型作为情报定位工具 报告将情报定位的核心工作分为“寻找”和“锁定”。“寻找”指识别目标（人、账户、设施等）并构建画像；“锁定”指将目标精确关联到时间和地点。传统上这一过程高度依赖稀缺且昂贵的专业分析师。如果 AI 能降低人力成本，将使过去因成本过高而无法实施的情报工作变得可行，从而扩大受监控人群的范围。 账户关联与人员分类 评测使用模型生成的模拟社交媒体内容（覆盖 WhatsApp、Telegram、Instagram 和 Facebook），构建了两个虚构场景（墨西哥城和加尔各答的抗议运动），共 200 个任务，分三个难度等级。任务包括跨平台账户关联和个体分类。Mythos Preview 在账户关联任务上表现最佳，与理论最大值的差距最小。Kimi K3 在简单和中等样本上与前沿模型相当，但在噪声更多、目…