超越 SAE：用稀疏编码做一致的概念发现
来自 arXiv · 期号 2026-10-17
摘要
稀疏自编码器（SAE）通过将激活分解为字典原子的稀疏组合来解释基础模型，但不同训练轮次得到的字典可能不一致，影响分析的可复现性。 本文提出 ConSDL，用逐样本稀疏编码替代标准线性编码器。合成实验表明，单次线性编码器得到的系数不如逐样本优化，而稀疏编码是更可靠的字典学习机制。在 16 个合成设置中，ConSDL 几乎完美恢复字典和系数。在四个视觉和语言设置上，ConSDL 的字典和系数一致性比六种 SAE 基线平均分别提升 17.6% 和 35.9%。