Circuits 更新：2023 年 7 月
来自 Transformer Circuits Thread · 期号 2023-07-18
摘要
Anthropic 可解释性团队发布 2023 年 7 月研究进展。 团队此前在一个单层玩具模型中发现，当训练数据量处于中间范围时，模型行为无法被理解为线性特征的叠加，一度担心这是对当前神经网络理解框架的反例。进一步研究发现，这个中间态其实是优化失败的产物——低隐藏维度导致模型难以找到最优解。当用不同学习率充分训练后，模型要么记忆数据（小数据集），要么学习通用特征（大数据集），中间态消失。 团队还讨论了语言模型中最具安全相关性的特征可能是什么，以及一个 skip-trigram 模型的初步结果。 本文是实验室内部思路分享，而非成熟论文。