Circuits 更新：2024 年 8 月
来自 Transformer Circuits Thread · 期号 2024-09-06
摘要
Anthropic 可解释性团队发布 2024 年 8 月进展，包含多项尚在早期阶段的研究思路。 团队开发了两种量化自动可解释性评估方法，用于衡量字典学习特征的可解释性。对比评估发现，特征往往在看似应同等适用的场景中表现不一致，例如“花”特征对一种花激活而对另一种不激活。另一种方法让 SAE 特征自行生成解释，再通过模拟激活来验证解释的准确性。 这些评估并非全面，只衡量了“可解释性”的一个侧面。团队认为需要一套多样化的评估才能全面反映 SAE 质量。