Dust：无需反向传播预训练 Transformer
来自 Hacker News · 期号 2026-10-06
摘要
训练大模型一直依赖反向传播，但它的计算和内存开销很大。 Dust 提出了一种替代方案：只用前向传播来预训练 Transformer。核心思路是把每一层的输出当作下一层的输入，通过一种称为“前向梯度”的机制来更新参数，避免了反向传播中存储中间激活值的巨大开销。 论文在小型语言模型上验证了可行性，但尚未在更大规模上测试。有评论指出，这可能是降低训练门槛的一个有趣方向，但距离替代现有方法还有很长的路要走。