装保险杠：对齐问题的务实策略
来自 Anthropic Alignment Science · 期号 2025-04-23
摘要
Anthropic 对齐科学团队提出「装保险杠」策略：与其追求完美对齐，不如建立多层独立防线来捕捉和修复错位。 核心流程是迭代式微调——在训练过程中多次进行机制可解释性审计和红队测试，一旦发现错位信号就回退重来，直到不再出现警告。部署后持续监控作为第二道防线。 团队认为，即使没有根本性突破，这套流程也有很大概率在少量迭代后收敛到对齐状态。该思路已影响 Anthropic 的安全研究布局，相关团队正在招聘。