单步生成模型中的深度即时间
来自 arXiv · 期号 2026-10-03
摘要
扩散模型的多步去噪轨迹被压缩成单次前向传播后，去噪计算并未消失，而是沿着网络深度重新组织。 本文提出一个经验观察“深度即时间”：单步生成模型中间层的特征，用模型自己的输出头解码后，可以恢复出多步扩散在不同采样步的中间结果。 最有趣的是，这种深度方向的去噪行为取决于流映射训练时所用的传输任务。MeanFlow 在探测短传输区间时，同一个网络评估内同时出现了去噪和“再噪化”；而不用时间索引传输任务训练的生成器（如 drifting 模型）则没有这种深度去噪现象。 利用这一现象，一个 MeanFlow SiT-L/2 模型可以被压缩 16.6 倍（参数量），变成一个单一时间条件块。
深读
导读 这篇论文提出了一个经验观察“深度即时间”：单步生成模型（如 MeanFlow）虽然将多步扩散压缩为一次前向传播，但去噪计算并未消失，而是沿着网络深度重新组织。对于关注生成模型效率与可解释性的研究者，它提供了一个理解单步模型内部工作机制的新视角。 关键信息 - 论文提出“深度即时间”现象：单步生成模型中间层的特征，用模型自己的输出头解码后，可以恢复出多步扩散在不同采样步的中间结果。 - 深度方向的去噪行为取决于流映射训练时所用的传输任务。MeanFlow 在探测短传输区间时，同一个网络评估内同时出现了去噪和“再噪化”（denoising and renoising）。 - 不使用时间索引传输任务训练的生成器（如 drifting 模型）没有表现出同样的深度去噪现象。 - 利用这一现象，一个 MeanFlow SiT-L/2 模型可以被压缩 16.6 倍（参数量），变成一个单一时间条件块。 逐节讲解 背景与问题 论文从当前单步生成模型的进展出发，这类模型通过蒸馏或学习流映射，将扩散的多步轨迹压缩为单次前向传播，已能生成高质量图像。作者提出的核心问题是：当生成被压缩为单次前向传播后，多步扩散的去噪轨迹发生了什么？ “深度即时间”的观察 作者给出一个经验观察：多步扩散在采样步上执行的去噪计算，似乎沿着单次前向传播的网络深度展开。具体来说，用模型自己的输出头解码中间层的特征，可以恢复出多步扩散在不同采样步的中间结果。这意味着去噪计算并未消失，只是从时间维度转移到了网络深度维度。 传输任务的影响 论文进一步展示，这种深度方向的去噪行为取决于流映射训练时所用的传输任务。最有趣的情况出现在 MeanFlow 上：当探测较短的传输区间时，同一个网络评估内同时出现了去噪和“再噪化”现象。相比之下，不使用时间索引传输任务训练的生成器（如 drifting 模型）则没有表现出同样的深度去噪行为。 压缩应用与解释 基于上述现象，作者证明表现出深度去噪现象的模型在逐层计算上更具可压缩性。一个 MeanFlow SiT-L/2 模型可以被压缩 16.6 倍（参数量），变成一个单一时间条件块。作者还给出了对这种“先去噪再噪化”行为的解释：当把逐层计算显式地视为一个流时，一个单一时间条件块可以被训练成跨层去噪，从而实现参数量的压缩。 值得注意 - 论文目前只给出了经验观察和初步解释，其结论建立在 MeanFlow 和 SiT-L/2 这一特定架构上，在其他架构或更大规模模型上的泛化性有待验证。 - “深度即时间”现象是否适用于非图像生成任务（如文本、音频）尚不清楚，论文未涉及这些领域。