分布式表示：组合与叠加
来自 Transformer Circuits Thread · 期号 2023-05-04
摘要
Chris Olah 的一篇非正式笔记，探讨 superposition 与分布式表示之间的关系。 他认为“分布式表示”实际上包含两种不同的概念：composition（组合）和 superposition（叠加），两者存在根本性的张力。 笔记借用 Thorpe（1989）关于形状-颜色编码的例子，说明表示方式并非在“局部-分布式”单一光谱上变化，而是在 composition 和 superposition 两个维度上各有不同。
深读
导读 Chris Olah 的这篇非正式笔记，澄清了神经网络研究中对“分布式表示”的常见混淆。它指出“分布式”一词实际上包裹了两种根本不同、甚至相互竞争的策略：组合（composition）与叠加（superposition）。理解这一区别，对于正确解读神经网络内部表示、以及设计可解释性方法至关重要。 关键信息 - 笔记借用 Thorpe (1989) 关于形状-颜色编码的四个例子（local、semi-local、semi-distributed、highly-distributed），重新解释为在“组合”和“叠加”两个正交维度上的变化。 - 组合表示（如“绿色”“方形”作为独立特征）允许 n 个特征组合出指数级（exp(n)）的表示，带来非局部泛化和统计效率优势。 - 叠加表示（如用 4 个神经元表示 16 种颜色-形状组合）可以在神经元数量少于特征数量的情况下存储信息，但代价是线性探针无法通用地提取单个特征。 - 组合与叠加存在根本性权衡：m 个比特的表示空间容量为 exp(m)，若存储 n 个可任意组合的特征需要 exp(n) 空间，因此最多只能存储 m 个可完全组合的特征；若不要求组合，则可在叠加中存储 exp(m) 个项。 - 当特征稀疏（多数特征值为 0）时，组合与叠加可以混合使用，压缩感知理论表明，若组合被限制为仅允许固定数量的特征同时激活，叠加的量可以随神经元数量指数增长。 逐节讲解 从“局部-分布式”光谱到两个独立维度 传统观点将神经编码视为从“局部”（一个神经元对应一个概念）到“分布式”（多个神经元共同表示一个概念）的光谱。Olah 认为这种一维光谱掩盖了更重要的区别。他借用 Thorpe 1989 年的例子，指出“局部”“半局部”“半分布式”“高度分布式”这四种编码实际上在两个维度上变化：组合（composition）和叠加（superposition）。 局部编码与半局部/组合编码 局部编码：每个（形状，颜色）组合对应一个专用神经元。这种编码看似浪费，但具有独特的灵活性，后续层可以通过线性函数选择任意集合（如“黑色圆形或白色三角形”）。Olah 指出，这种编码虽然可以用线性探针检测出“红色”特征，但并不意味着它真正具有“红色”这一表示。 半局部/组合编码：用独立的“绿色”“方形”等特征神经元，通过组合来表示对象。这是机器学习中“分布式表示”的典型含义（如 Mikolov 2013 的词向量）。其优势包括：神经元数量需求从指数级降为线性级；支持非局部泛化（关于绿色圆形的数据能改善对绿色方形的判断）；能自然地表示中间状态（如紫色 = 红色+蓝色）。 密集/最大叠加编码 这种编码用 4 个神经元（相当于 4 比特）表示所有 16 种颜色-形状组合。其核心优势是能表示远多于神经元数量的、完全不相关的对象。但代价显著：线性探针无法通用地提取大…