从 Apple 神经网络引擎找回 50 GB/s
来自 Hacker News · 期号 2026-09-10
摘要
Apple M3 芯片的神经网络引擎（ANE）存在一个硬件设计缺陷，导致其从内存读取模型权重的速度远低于标称值。 问题出在 DMA 引擎的推测性预取环路上，一个 RTL 性能勘误将 DRAM 权重流吞吐量从正常的 45-60 GB/s 限制到了 17-19 GB/s。作者通过修改内核驱动，绕开了这个有问题的路径，成功恢复了带宽。 修复效果显著：Llama 3.2 1B 模型的 token 生成速度从 10.0 tokens/s 提升到了 24.3 tokens/s。 评论区有用户指出，这个 bug 可能也影响了其他依赖 ANE 带宽的模型，但修复方法需要修改内核驱动，普通用户难以直接应用。