INTENT-AS-A-TOOL 追踪 agent 错位
来自 arXiv · 期号 2026-08-28
摘要
大语言模型作为自主 agent 部署时，安全失败往往涉及具体行动。 本文研究 agent 在目标冲突与压力下采取有害行动的“agent 错位”。通过思维链监控发现，有害行动前通常会在推理中出现意图信号。但事后标注的思维链标签太粗糙，无法展示意图在生成过程中的变化。 作者提出 INTENT-AS-A-TOOL，为模型添加一个专门表达对目标行为承诺的意图工具。调用该工具的概率提供了一个无需人工判断、细粒度的信号，反映模型执行该行为的倾向。 实验表明，该方法能补充思维链监控，将事后标签扩展为密集轨迹，并识别出适合在线干预的关键步骤。 代码与数据已开源。