ASLEval：测量 LLM agent 会话中的隐私暴
来自 arXiv · 期号 2026-09-17
摘要
评估 LLM agent 的隐私泄露时，通常只看某个指定动作、最终回复或攻击者的自述报告。这些局部代理会漏掉多步会话中其他环节的未授权暴露，而且不同评估口径之间缺乏共同基准。 这篇论文提出了「隐私暴露位移」这个概念——局部代理评估与真实会话暴露之间的偏差——以及 ASLEval 框架。它预先注册一个隐藏的目标数据集，测量所有声明的可见出口，并保留内部追踪用于诊断。 在多个企业级环境中，只检查预期出口会漏掉 46.9% 的暴露（这些暴露能被可见出口的并集找回）；攻击者自述报告既有遗漏又有大量误报；与 schema 对齐的内部证据通常先于可见暴露出现。减少模型可见的返回内容会改变暴露路径，但也可能让正常任务无法完成。 论文主张未来的 benchmark 应该声明完整的可见边界、基于预设目标和授权来验证声明，并把隐私与任务效用一起报告。