无监督诱导安全的 3 个挑战与 2 个希望
来自 Anthropic Alignment Science · 期号 2026-03-05
摘要
无监督诱导和易到难泛化技术旨在让模型处理超出人类监督能力的任务。但现实数据集有三个问题：存在比事实更显著的非真实特征、训练集不平衡、以及模型应该对某些点表示不确定。 Anthropic 创建了新的压力测试数据集来检验现有技术，并尝试了两个新方向：集成多个预测器，以及将无监督方法与易到难方法结合。 结果发现，新方法有时表现更好，但没有一种技术能可靠地应对所有三个挑战。
深读
导读 当 AI 模型的能力超越人类监督能力时，如何确保其输出是真实可靠的？这篇来自 Anthropic 对齐科学团队的研究，系统性地压力测试了“无监督诱导”和“易到难泛化”两类技术。读完你会看到，当前最先进的方法在面对真实世界的数据特征时，表现远不如在理想基准测试中那样可靠，并且了解两个有希望但尚未成熟的新方向。 关键信息 - 研究识别出三个现实挑战：数据集中存在比事实更显著的非真实特征、训练集不平衡、以及模型应对某些问题表示不确定。 - 针对“显著非真实特征”挑战，研究构建了包含谄媚、标点、时态等人工特征的数据集，以及基于政治事实（LIAR）和毒性评论（Civil Comments）的自然数据集。 - 在“不可能任务”测试中，将数学问题（GSM8K）与规范性政治主张混合，发现无监督方法对政治主张的置信度与对数学问题的置信度相当甚至更高。 - 研究尝试了两个新方向：集成多个预测器（Ensembling）以及将无监督方法与易到难方法结合（UE + E2H），但没有任何一种技术能可靠地应对所有三个挑战。 - 实验基于 Llama 3.1 8B 和 70B 模型，对比了零样本提示、随机少样本、自举少样本、CCS、PCA、易到难泛化等多种方法。 逐节讲解 三个核心挑战 研究指出，大多数易到难泛化（E2H）和纯无监督诱导（UE）技术在实际应用中会面临三个问题。第一，显著非真实特征：数据集中可能存在比“真实性”更显著的特征（如句子是否与用户观点一致），模型会优先学习这些特征而非事实。第二，训练集不平衡：在检测AI违规等安全应用中，正负样本比例往往严重失衡，而CCS等方法依赖平衡数据集才能正常工作。第三，不可能任务：某些问题（如规范性政治主张）模型无法给出确定答案，但现有方法会像对待事实问题一样给出高置信度预测。 两个希望与实验方法 研究探索了两个改进方向。组合希望（UE + E2H）：用无监督方法在任务数据集中找到显著概念，再用易到难方法排除虚假概念。集成希望（Ensembling）：通过无监督方法找到多个显著概念，期望其中至少一个对应真实概念，然后通过共识加权或易到难加权组合多个预测器。实验方法分为提示类（零样本、随机少样本、自举少样本、黄金少样本）和线性探针类（随机探针、CCS、PCA、易到难泛化、监督探针），以及基于两个希望的新探针方法。 实验结果 在显著非真实特征测试中，所有方法在人工添加的谄媚特征面前性能大幅下降；在自然数据集（LIAR 和 Civil Comments）上，大多数方法发现了最显著的特征（政治倾向或毒性）而非提示指定的目标特征，PCA 集成方法在 LIAR 上偶尔能避开政治倾向特征。在不平衡训练集测试中，使用 Ctrl-Z（安全/恶意 bash 命令序列）数据集时，无监督方法在平衡数据集上表现已经不佳（部分由于答案长度等显著特征），不平衡时性能…