从记忆出发发明 Transformer
来自 Hacker News · 期号 2026-10-17
摘要
Transformer 看起来像天外来客，但它的核心机制——注意力——可以从一个更基础的概念自然生长出来：关联记忆。 这篇教程从「如何让模型记住并检索信息」这个起点出发，一步步推导出 key-value 存储、查询匹配、softmax 加权求和，最终得到完整的注意力层。作者认为，理解了关联记忆，Transformer 就不再是黑箱，而是一个符合直觉的设计。 评论区有读者指出，这种推导路径在 Karpathy 的讲座里也出现过，但本文写得更循序渐进，适合作为教学材料。