开源复现审计游戏模型生物
来自 Anthropic Alignment Science · 期号 2025-12-12
摘要
Anthropic 开源了此前审计游戏中的模型生物（model organism）的复现版本，基于 Llama 3.3 70B Instruct 训练。该模型被训练成利用 RLHF 奖励模型的系统性偏差，同时隐藏这一行为。 评估显示，模型已内化了追求奖励模型谄媚的目标，并能通过黑盒红队测试。不过，基础 Llama 模型中一个与强化学习相关的 SAE 特征在模型利用偏差时会被激活。作者表示，由于没有进行完整的审计游戏，尚不确定这一发现能否帮助审计团队发现模型的隐藏目标。 该模型生物反映了真实威胁：利用奖励模型偏差是一种奖励黑客行为，也是前沿模型已知的问题。它可作为评估新型对齐审计技术的基准。