Agent 隐私与安全中的开放问题：情境视角
来自 Google Research · 期号 2026-10-06
摘要
AI agent 要有用，就得访问个人数据、执行跨上下文的操作。但它的行为是概率性的，传统软件的安全手段管不住。 Google Research 联合 50 多位学者发布了一份 workshop 报告，用 Contextual Integrity（情境完整性）理论来框这个问题。核心主张是：agent 需要能理解并遵守特定情境下的社会规范，知道什么动作是合适的。 报告给出了一个分层方案：系统层做动态沙箱，模型层学会判断行为是否恰当，用户层从「逐次弹窗」转向动态个性化控制，多 agent 层防止串谋，生态层建立跨 agent 的规范协商机制。 同时呼吁建立标准化的多 agent 评测环境（
深读
导读 AI agent 要真正有用，就必须访问个人数据并在不同场景下执行操作，但它的行为是概率性的，传统软件的安全手段无法直接适用。Google Research 联合 50 多位学者发布了一份 workshop 报告，引入情境完整性（Contextual Integrity）理论来框定这个问题，并提出了从系统沙箱到生态治理的五层防御方案。读完可以带走一套分析 agent 隐私安全问题的理论框架和具体的研究方向清单。 关键信息 - 报告源于 2025 年底在纽约举办的 Google Contextual Agent Privacy and Security (CAPS) Workshop，联合了 50 多位来自学术界和工业界的研究者。 - 核心理论是 Contextual Integrity (CI)，它把隐私定义为“符合既定社会规范的恰当信息流动”，而非单纯的保密或控制。 - 报告将 agent 与传统软件的区别归结为三个维度：非结构化接口与输入歧义（如自然语言和图像）、概率性控制流（生成式规划导致执行路径不可预测）、以及自主性与委托（长任务和子任务委托使传统用户监督失效）。 - 提出的多层防御方案覆盖五个层面：系统层（动态沙箱）、模型层（行为恰当性推理）、用户层（动态个性化控制）、多 agent 层（防止串谋）和生态层（跨 agent 规范协商）。 - 报告呼吁建立标准化的多 agent 评测环境，动态“Agent Gym”环境，用于模拟长时间、级联的复杂交互。 逐节讲解 Agent 的核心权衡 agent 要有用，就必须访问个人数据并在广泛场景中执行有后果的操作。但这种访问权限加上行为的灵活性，要求采用与传统软件根本不同的安全方法。传统软件是确定性的，而 agent 在三个关键维度上不同：它处理自然语言和图像等非结构化输入，难以定义“预期行为”或防御提示注入；生成式规划导致概率性的执行路径，传统测试方法难以覆盖；随着 agent 处理更长任务并将子任务委托给其他 agent，传统的用户监督会失效，引发“确认疲劳”。 情境透镜 报告认为，可信 agent 的未来取决于它们能否理解并遵守特定情境下的社会规范和行为恰当性。理论根基是 Contextual Integrity (CI)，它把隐私定义为符合既定社会规范的恰当信息流动。一个情境特定的信息规范由三个要素定义：参与者（谁在发送和接收关于谁的信息）、信息类型（如医疗或财务记录）和传输原则（如保密性或互惠性）。报告将 CI 从信息共享扩展到“情境安全”，即 agent 行为的恰当性。 将情境完整性付诸实践 CI 理论提出多年，但 LLM 首次提供了实现机器可读、真正依赖上下文的策略的机会。过去存在一个语义鸿沟：高层级的情境规范（如“帮我安排会议旅行时保护我的数据”）与低层级的系统权限（如具体哪些信息可以分…