对齐还没走上正轨
来自 Import AI · 期号 2026-06-15
摘要
英国AI安全研究所对齐团队与Timaeus的研究人员联合成立非营利组织Sequent，目标是开发能对超级智能AI安全提供更高置信度的对齐技术。 该组织认为，前沿AI实验室的对齐方法“本质上是反应式的”，无法在训练前提供理论保证。Sequent计划在几年内招募40-80名全职员工，初期融资1-1.5亿美元，并准备在证明可行性后追加一个数量级。 研究方向包括可扩展监督、学习理论、博弈论等，希望通过多条并行路径产生交叉成果。 “我们可能需要大声喊出来。”——Sequent表示，保持独立性是为了在必要时能对前沿实验室的危险做法发出警报。