两个 ReLU 层就够了

来自 arXiv · 期号 2026-10-21

摘要

ReLU 网络到底需要多少层？这篇论文证明，任意深度的 ReLU 网络都可以被一个只有两个隐藏层的 ReLU 网络精确模拟。作者给出了两种证明：一种基于同调代数中的填充方法，另一种是直接的组合证明。论文附有完整的证明构造，没有实验部分。