可解释性之梦
来自 Transformer Circuits Thread · 期号 2023-05-24
摘要
Chris Olah 写了一篇非正式笔记，讲的是机械可解释性研究的长期愿景。 核心挑战是解决叠加问题——神经网络里特征是怎么挤在一起表示的，目前还看不清。如果这个问题能解决，Olah 设想可以在此基础上做几件事：理解更大尺度的结构（类似解剖学里的器官）、发现跨模型的通用特征和回路、把微观机制和宏观行为连起来，以及用 AI 来自动化可解释性研究，让它能扩展到更大的模型。 最终目标是为 AI 安全做贡献，同时揭示神经网络内部的美妙结构。 本文是个人愿景的公开表达，Olah 自己也说内容非常推测性，远不能确定能否实现。