Grokking的谱理论：权重衰减诱导特征学习
来自 arXiv · 期号 2026-09-23
摘要
神经网络在训练中会出现 grokking 现象：训练集准确率很早就饱和，但泛化能力要很久之后才突然出现。 本文提出一套定量理论解释这个延迟。在同质网络（均方损失 + L2 权重衰减）中，过拟合后仍残留一部分误差信号，这些信号集中在 NTK 特征值小的方向上，反过来推动核的演化，形成残差驱动的特征学习与权重衰减之间的竞争。 理论预测 grokking 时间尺度与学习率×权重衰减的乘积成反比，并存在一个临界权重衰减，超过后模型将无法泛化。在模加法任务上用 MLP 和 Transformer 验证，84×90 和 42×45 的超参数网格实验均恢复了预测的相结构和缩放规律。
深读
导读 原文信息有限，以下基于论文摘要。本文提出一套定量理论，解释神经网络训练中“grokking”现象，训练精度早已饱和，但泛化能力要很久后才突然出现。它通过残差驱动的核演化与权重衰减的竞争机制，推导出泛化时间与学习率×权重衰减乘积的定量关系，并在模加法任务中通过大规模超参数网格验证了模型相图。读者可借此理解延迟泛化的根本原因。 关键信息 - 理论基于同质网络、均方损失和L2权重衰减，认为过拟合后残留的误差信号集中在NTK特征值小的方向上。 - 预测grokking时间尺度与学习率×权重衰减的乘积成反比（约1/(η·λ)）。 - 存在一个临界权重衰减，超过后NTK中任务对齐的特征结构无法支撑泛化，甚至导致无法拟合训练集。 - MLP在84×90网格上、Transformer在42×45网格上（学习率×权重衰减）均恢复了理论预测的相结构和缩放行为。 - Transformer不完全满足同质假设，但定性上仍表现出相同的宏观相结构和转换时间缩放。 逐节讲解 现象与问题 Grokking的核心矛盾：训练精度很早饱和（记忆），而泛化却滞后出现。在这一延迟期中，核（NTK）与任务相关的特征方向持续演化，使训练从“固定核”的浅层模式（lazy）过渡到“核演化”的深层特征学习（rich）。本文要解释这个过渡如何导致延迟泛化。 理论推导：残差驱动的核竞争 对于同质网络、均方损失和L2权重衰减，记忆完成后仍有有限残差。残差在目标分量上的比例与NTK特征值大小相关：小特征值方向残差更大。这些残差反馈回NTK动力学本身，产生残差驱动的核生长与权重衰减之间的竞争。将动力学投影到任务相关的谱方向，得到一个简化系统，该系统预测：grokking时间尺度由学习率与权重衰减的乘积控制；特征学习会在接近临界衰减时对数减慢；更强的衰减会阻止拟合。 实验验证：模加法任务 在模加法上测试理论预言。同质MLP的NTK在训练精度饱和后继续涌现任务对齐的傅立叶结构。改变学习率和权重衰减的84×90网格实验恢复了预测的相几何和泛化时间与η·λ乘积的反比缩放。一个单块Transformer在42×45网格上也显示类似的宏观相结构以及相同的转换时间缩放，尽管它并不严格满足同质假设。 值得注意 - 理论推导基于同质网络假设，但Transformer不严格同质却仍表现出相似行为；这意味着理论核心机制可能对网络架构具有鲁棒性，但精确定量关系在非均匀场景下是否成立还需进一步验证。 - 实验仅在模加法一个任务上完成，grokking是否在其他任务（如算术、算法）上有相同的谱机制，摘要未提供证据。 - 摘要仅给出结论和验证，未展示简化系统的具体推导步骤；读者需要阅读完整论文才能评估理论推导的严谨性。