关于定性研究的思考
来自 Transformer Circuits Thread · 期号 2024-03-08
摘要
可解释性研究目前仍处于早期阶段，尚未形成成熟的范式。 这篇笔记主张，在这个阶段，定性研究应该被当作与定量研究同等重要的方法，而不是仅仅作为定量分析的附庸。 作者以 Anscombe 四重奏为例说明：当数据维度很高时，任何单一的统计量都会掩盖大部分信息。在可解释性领域，我们还没有经过充分验证的标准度量，盲目追求定量指标的严谨性反而可能是一种“伪科学”。 “我们怀疑，在像可解释性这样的早期科学领域，严谨性实际上需要更多的定性工作，定量指标应该从中生长出来，并且最初要带着相当怀疑的态度去对待。”