Transformer 残差流中的特权基

摘要

Transformer 的残差流在数学上不应该有“特权基”——每个坐标方向本应同样任意，没有哪个更可能承载信息。但实际模型里，某些坐标始终出现极端离群值。这篇论文排除了层归一化和有限精度浮点运算，初步认定 Adam 优化器的逐维度归一化器是罪魁祸首。