用分层摘要监控 Computer Use
来自 Anthropic Alignment Science · 期号 2025-02-27
摘要
AI 执行真实任务时，单个无害的操作在聚合后可能产生危害（如点击农场）。Anthropic 提出分层摘要监控法：先对每次人机交互生成结构化摘要，再对摘要做二次摘要，从而识别跨交互的恶意模式。该方法已用于保护 Computer Use 功能，作为传统分类器的补充。 这是早期研究，官方承认有改进空间。
深读
导读 AI 在真实世界中执行任务时，单个无害的操作在聚合后可能产生危害（如点击农场）。Anthropic 提出分层摘要监控法，通过先对每次交互生成结构化摘要、再对摘要做二次摘要的方式，识别跨交互的恶意模式。该方法已用于保护其 Computer Use 功能，作为传统分类器的补充，并在实测中发现了超出预设规范的可疑行为。 关键信息 - 分层摘要分两阶段：第一阶段将包含文本和图像的 prompt-completion 对压缩为数百 token 的结构化摘要；第二阶段将数百条交互摘要聚合进一个上下文窗口，生成描述整体使用模式的“使用摘要”。 - 摘要质量验证中，Claude 3.5 Sonnet (new) 生成的交互摘要 96% 被判定为“足够准确以用于危害判定”（rated "Mostly" or above），98% 被判定为“足够完整”。 - 在 Computer Use 上线后的实际监控中，除已知的红队测试者外，最严重的“野外”滥用行为是有限数量的在线市场广告垃圾信息。 - 分层摘要与 Anthropic 的 Clio 系统互补：Clio 跨用户识别大规模模式，分层摘要则针对单个用户进行深度分析，仅由 Anthropic 的 Safeguards 团队使用。 逐节讲解 问题背景：传统监控的盲区 Anthropic 于 2024 年 10 月推出 Computer Use 能力，标志着从聊天机器人向能执行真实世界任务的 AI 的转变。这带来了两类监控挑战：一是存在“已知的未知”——可能只有部署后才会显现的新风险；二是聚合性危害，单个无害操作在大量重复后可能产生恶意效果，例如用户让 Claude 点击网页按钮，可能是 UI 测试，也可能是运行点击农场欺诈广告系统。传统方法依赖交互级分类器（如内容审核模型、LlamaGuard、WildGuard、Constitutional Classifiers），将每次交互简化为标量值，难以识别这类聚合模式，也难以发现未预设的风险。 分层摘要方法：从交互摘要到使用摘要 Anthropic 借鉴了递归摘要和决策聚焦摘要的已有工作，提出分层摘要法。第一层“交互摘要”将完整的 prompt 和 completion（可达数十万 token，含文本和图像）压缩为数百 token 的结构化文本，记录用户意图、实际结果和所用语言等元数据。为降低攻击风险，不向摘要器提供精确的 prompt 模板。第二层“使用摘要”将数百条交互摘要聚合进一个上下文窗口，生成整体使用模式报告，要求按使用类型分类并分析潜在危害，同时提供代表性交互的引用，以便人工核查。 分类与摘要的结合 摘要本身不指示哪些报告需要人工审查。Anthropic 的做法是在摘要 prompt 中加入危害等级定义和具体示例，让摘要器在输出摘要的同时附带离散的危害分类。该分类用于对…