技术性 AI 安全研究方向建议
来自 Anthropic Alignment Science · 期号 2025-01-10
摘要
Anthropic 的对齐科学团队发布了一份技术性 AI 安全研究方向清单。 核心问题是：今天能做什么技术研究，来降低未来强大 AI 系统可能带来的灾难性风险？ 清单不是全面综述，更像一份“品尝菜单”，涵盖能力评估、对齐评估、理解模型认知、思维链忠实性、AI 控制、可扩展监督、对抗鲁棒性、遗忘危险知识、多智能体对齐等方向。 团队表示，他们只在其中部分方向上有投入，列出这份清单是希望激发更广泛的社区研究。