Activation Oracles
来自 Transformer Circuits Thread · 期号 2025-12-19
摘要
Anthropic 等机构训练 LLM 接受另一 LLM 的激活值作为输入，并用自然语言回答关于这些激活值的任意问题。这种“激活预言机”在训练分布之外也能泛化，例如发现微调引入的隐藏知识或对齐问题。在四项审计任务中，它在三项上达到当前最佳。性能随训练数据量和多样性提升而提升，说明该方法有可预测的扩展潜力。 论文附了开源代码和在线演示。
来自 Transformer Circuits Thread · 期号 2025-12-19
Anthropic 等机构训练 LLM 接受另一 LLM 的激活值作为输入，并用自然语言回答关于这些激活值的任意问题。这种“激活预言机”在训练分布之外也能泛化，例如发现微调引入的隐藏知识或对齐问题。在四项审计任务中，它在三项上达到当前最佳。性能随训练数据量和多样性提升而提升，说明该方法有可预测的扩展潜力。 论文附了开源代码和在线演示。
本站只做摘要与索引，全部内容版权归原作者所有。