叠加、记忆与双下降
来自 Transformer Circuits Thread · 期号 2023-01-05
摘要
Anthropic 在一篇新笔记中研究了简单神经网络在有限数据集上的过拟合现象。 他们发现，过拟合对应的是将数据点（而非特征）存储在叠加态中。当数据集较小时，模型进入过拟合状态，存储的是具体数据点；当数据集足够大时，模型转为泛化状态，存储的是特征。模型在这两个状态之间切换时，会出现双下降现象。 本文是对此前叠加态研究的延伸，此前工作只考虑了无限数据下的欠拟合情况。
来自 Transformer Circuits Thread · 期号 2023-01-05
Anthropic 在一篇新笔记中研究了简单神经网络在有限数据集上的过拟合现象。 他们发现，过拟合对应的是将数据点（而非特征）存储在叠加态中。当数据集较小时，模型进入过拟合状态，存储的是具体数据点；当数据集足够大时，模型转为泛化状态，存储的是特征。模型在这两个状态之间切换时，会出现双下降现象。 本文是对此前叠加态研究的延伸，此前工作只考虑了无限数据下的欠拟合情况。
本站只做摘要与索引，全部内容版权归原作者所有。