重新思考普通像素扩散 Transformer 的设计空间
来自 arXiv · 期号 2026-10-17
摘要
像素空间扩散模型最近重新受到关注，它避免了潜在扩散中信息有损的瓶颈和单独训练的自动编码器。JiT 表明，通过将常用的速度预测（u-prediction）替换为干净图像预测（x₀-prediction），普通的扩散 Transformer 可以直接在像素空间生成图像。 本文重新审视了这一选择，提出了 MFlow，一种自适应参数化方法，它学习在数据的主方向上，在 x₀-prediction 和 u-prediction 之间进行插值，并与扩散训练端到端地学习。研究发现，最优的参数化方式会随数据表示和模型容量系统性地变化——特别是，增加模型容量会使偏好转向速度预测。 MFlow 在 ImageNet、UCF-101 视频和大规模文生图任务上进行了评估，在多种设置下都取得了有竞争力或更好的生成性能。此外，研究发现，无论采用何种参数化，普通的像素扩散 Transformer 相对于真实图像都存在持续的高频信息缺失。 为了解决这个问题，本文提出了 ConvRefiner，一个轻量级的卷积模块，在保持扩散主干冻结的情况下，通过对抗损失进行事后训练。仅需少量额外训练，ConvRefiner 就能在保持 FID 的同时，恢复生成图像的高频统计特性。
深读
导读 像素空间扩散模型近期重新受到关注，它避免了潜在扩散中信息有损的瓶颈和单独训练的自动编码器。这篇论文系统性地重新审视了扩散 Transformer 的参数化选择，提出了一种自适应方法 MFlow，并揭示了模型容量与最优预测方式之间的系统性关系。读完能了解像素扩散 Transformer 的设计空间、参数化偏好随规模变化的规律，以及一个针对高频细节缺失的轻量级修复方案。 关键信息 - JiT 方法表明，将常用的速度预测（u-prediction）替换为干净图像预测（x₀-prediction），普通的扩散 Transformer 可以直接在像素空间生成图像。 - MFlow 是一种自适应参数化方法，学习在数据的主方向上，在 x₀-prediction 和 u-prediction 之间进行插值，并与扩散训练端到端地学习。 - 增加模型容量会使参数化偏好从 x₀-prediction 转向速度预测（u-prediction）。 - 无论采用何种参数化，普通的像素扩散 Transformer 相对于真实图像都存在持续的高频缺失。 - ConvRefiner 是一个轻量级卷积模块，在冻结扩散主干的情况下，用对抗损失进行后训练，能以少量额外训练恢复生成图像的高频统计信息，同时保持 FID。 逐节讲解 背景与动机 像素空间扩散模型最近重新受到关注，其优势在于避免了潜在扩散模型中信息有损的瓶颈和单独训练的自动编码器。JiT 方法表明，通过将常用的速度预测（u-prediction）替换为干净图像预测（x₀-prediction），普通的扩散 Transformer 可以直接在像素空间生成图像。本文重新审视了这一选择，并提出了 MFlow。 MFlow：自适应参数化 MFlow 是一种自适应参数化方法，它学习在数据的主方向上，在 x₀-prediction 和 u-prediction 之间进行插值，并与扩散训练端到端地学习。研究发现，最优的参数化方式会随数据表示和模型容量系统性变化，特别是，增加模型容量会使偏好转向速度预测。MFlow 在 ImageNet、UCF-101 视频和大规模文生图任务上进行了评估，在多种设置下都取得了有竞争力或更好的生成性能。 高频缺失与 ConvRefiner 研究发现，无论采用何种参数化，普通的像素扩散 Transformer 相对于真实图像都存在持续的高频缺失。为解决这一问题，论文引入了 ConvRefiner，一个轻量级卷积模块，在冻结扩散主干的情况下，用对抗损失进行后训练。只需少量额外训练，ConvRefiner 就能恢复生成图像的高频统计信息，同时保持 FID。 值得注意 本文的结论建立在像素空间扩散 Transformer 的设定下，不直接适用于潜在扩散模型。ConvRefiner 是一个后处理模块，其效果依赖于扩散主干本身的…