自动化弱到强研究员
来自 Anthropic Alignment Science · 期号 2026-01-01
摘要
Anthropic 用 Claude 构建了自动化对齐研究员（AAR），让它自主提出想法、跑实验、迭代，解决弱到强监督问题。 在聊天偏好数据集上，两位人类作者花了 7 天调参，最佳成绩是恢复 23% 的性能差距（PGR 0.23）。9 个并行的 AAR 在 5 天内（累计 800 小时）达到 PGR 0.97，花费约 1.8 万美元。 AAR 能并行扩展到上千个，把几个月的科研压缩到几小时。研究团队认为，对结果可量化的问题，自动化研究已经实用。下一步瓶颈在于设计好的评估指标，让 AAR 能可靠地爬山而不过拟合。 论文附了开源代码和沙箱环境。
深读
导读 Anthropic 用 Claude 构建了自动化对齐研究员 (AAR)，让 AI 自主提出想法、跑实验、迭代，解决弱到强监督这一开放研究问题。在聊天偏好数据集上，AAR 在 5 天内（9 个并行实例累计 800 小时）达到 0.97 的性能差距恢复率 (PGR)，远超人类研究者 7 天调参得到的 0.23，总花费约 1.8 万美元。这项工作表明，对结果可量化的研究问题，自动化研究已经具备实用价值。 关键信息 - 在聊天偏好数据集上，两位人类作者花费 7 天手动调参四种代表性方法，最佳 PGR 为 0.23（包含分布内和分布外测试集）。 - 9 个并行的 AAR（Claude Opus 4.6 agent）在 5 天内达到 PGR 0.97，累计计算时间 800 小时，总花费约 1.8 万美元（约 22 美元每 AAR 小时）。 - 弱模型使用 Qwen1.5-0.5B-Chat，强模型使用 Qwen3-4B-Base，每次微调运行不到 2 小时。 - 三个测试平台均为二分类任务：聊天偏好（HelpSteer2/HelpSteer3 训练，RM-Bench/RewardBench 2 测试）、数学验证（DAPO-Math-17K 训练，AIME 2024/2025 测试）、代码验证（TACO 不同难度级别）。 - 给每个 AAR 分配不同的研究方向（如「结合弱到强监督与无监督激发」）比不分配方向能显著加速爬山效率，并有效防止「想法熵坍缩」——所有并行 AAR 收敛到少数几个方向。 - AAR 发现的一个基于 EM 的后验标签建模方法迁移到生产环境（Sonnet 4.0）时，在保留评估上仅提升 +0.5 个点（在噪声范围内），瓶颈在于基础模型在对比数据上的偏好边际太弱。 逐节讲解 问题背景与实验设置 弱到强监督问题模拟了核心对齐挑战：人类需要监督比自己更聪明的 AI。具体设定是：给定一个弱监督者和一个强学生，如何恢复强学生在真实标签监督下本应达到的性能？性能通过「性能差距恢复率」(PGR) 衡量，0 表示不比弱教师好，1 表示与真实标签监督的学生持平。 研究团队选择了 Qwen1.5-0.5B-Chat 和 Qwen3-4B-Base 作为弱/强模型组合，原因是：两者之间存在显著性能差距、小模型在测试平台上表现优于随机、且两者都足够小以便快速实验。三个测试平台（聊天偏好、数学验证、代码验证）都经过精心设计以抵抗 hack——例如代码问题中 True/False 标签在每个难度级别平衡，防止模型仅靠难度预测标签。 AAR 架构与运行方式 研究团队通过仪表盘启动一组并行的 AAR（每个都是 Claude Opus 4.6 agent），每个在独立沙箱中工作。它们可以通过共享论坛交流发现，通过存储系统上传代码快照。AAR 有权访问通用辅助函数（模型训练和推理）…