SafeEvolve：从 agent 经验中协同进化
来自 arXiv · 期号 2026-09-03
摘要
基于 LLM 的 agent 同时受基础模型和运行时 harness 影响，现有安全对齐要么只改 harness、要么只调策略，两者脱节。 SafeEvolve 让 harness 和策略在 agent 自己的经验上共同进化：harness 侧把轨迹级安全证据转成可审计的组件更新（安全提示、分层技能）；策略侧先用 SFT 学会利用新 harness，再用 RL 在探索中形成自主安全行为。 在 AgentDojo 上，Qwen3.5-4B 的有害响应率（ASR）降低 3 倍，同时良性任务成功率从 59.79% 提升到 61.86%。