设计抗 AI 的技术评估
来自 Anthropic Engineering · 期号 2026-01-21
摘要
Anthropic 性能工程团队自 2024 年初使用一套模拟加速器代码优化的笔试题来筛选候选人，超过 1000 人完成，数十人最终入职。 但每次新 Claude 模型发布都迫使团队重写题目。Claude Opus 4 在相同时间限制下已超过多数人类申请人；Opus 4.5 则追平了最顶尖候选人的表现。团队在有限时间内已无法区分模型输出与顶级人类输出。 作者 Tristan Hume 经历了三次迭代，总结出什么能让评估对 AI 保持有效。团队将原始题目作为公开挑战放出——因为不限时间时，人类最佳表现仍优于 Claude。