Softmax 与交叉熵的一个修复
来自 arXiv · 期号 2026-10-23
摘要
Softmax 和交叉熵的标准实现有两个数值 bug。 第一个叫 Softmax Collapse：当某个 logit 远大于其他 logit 时，该 logit 的梯度被舍入为零，导致梯度之和不再为零。 第二个叫 Softmax Cancellation：当学生 logit 与教师 logit 接近时，即使两者完全相等，梯度也不为零。 论文给出了修复后的简单实现，消除了此前观察到的“Slingshot”现象，加速了带权重衰减的 grokking，防止了无权重衰减时的精度崩溃，并阻止了蒸馏中学生网络偏离教师。 顺便说一句，论文还发现：记忆完成后，logit 的增长会被权重衰减与 Adam 的 ε 超参数之间的平衡所限制。