MC-Sparse：弥合扩散 Transformer 的
来自 arXiv · 期号 2026-10-06
摘要
扩散 Transformer 做长序列生成（视频、高分辨率 3D 资产）时，稀疏注意力是降低延迟的主要手段，但高稀疏度下生成质量会下降。 通过受控的 oracle 对比实验，作者把质量下降归因到三个来源：token 分组的约束、不准确的交互选择、以及丢弃 token 时丢失的注意力贡献。 基于这个分析，他们提出 Meta-Cached Sparse Attention（MC-Sparse），一个无需训练的框架：它单独挑选 key-value token，同时把相似的 query 组织成 tile 对齐的组以便 GPU 高效执行。MC-Sparse 缓存元数据（query 分组、用精确注意力概率选出的 KV 索引、以及密集与稀疏注意力输出之间的残差），并在后续去噪步骤中复用。 在视频和 3D 生成模型上，MC-Sparse 比现有稀疏注意力基线更接近密集注意力的输出，去噪加速也更大。相对密集注意力，它在 Minimax-H3-Base 上实现 1.80 倍去噪加速，在 3D 资产生成上实现 2.32 倍加速，质量损失可忽略。 论文附了开源代码。
深读
导读 扩散 Transformer 在视频和 3D 资产等长序列生成任务中，稀疏注意力是降低延迟的核心手段，但高稀疏度下生成质量会明显下降。这篇论文通过受控实验将质量损失拆解为三个具体来源，并据此提出了无需训练的 MC-Sparse 框架，在保持接近密集注意力输出质量的同时实现了显著的去噪加速。 关键信息 - 质量下降的三个来源：token 分组的约束、不准确的交互选择、以及丢弃 token 时丢失的注意力贡献。 - MC-Sparse 是一个无需训练的框架，核心思路是单独挑选 key-value token，同时将相似 query 组织成 tile 对齐的组以适配 GPU 高效执行。 - MC-Sparse 缓存三类元数据：query 分组、用精确注意力概率选出的 KV 索引、以及密集与稀疏注意力输出之间的残差，并在后续去噪步骤中复用。 - 在 Minimax-H3-Base 上，MC-Sparse 相比密集注意力实现了 1.80× 的去噪加速；在 3D 资产生成任务上达到 2.32× 加速，且质量损失可忽略。 逐节讲解 问题：稀疏注意力在长序列生成中的质量退化 扩散 Transformer 处理长序列（如视频、高分辨率 3D 资产）时，计算瓶颈在于注意力机制。稀疏注意力通过只计算部分 token 间的交互来降低延迟，但现有方法在高稀疏度下会导致生成质量与保真度下降。作者通过受控的 oracle 对比实验（即与理想情况下的精确注意力输出做比较），将退化归因到三个具体原因：token 分组方式带来的约束、交互选择的不准确性、以及丢弃 token 时丢失的注意力贡献。 方法：Meta-Cached Sparse Attention (MC-Sparse) 基于上述分析，作者提出 MC-Sparse，一个无需训练的框架。它不再按固定分组选择 token，而是单独挑选 key-value token，同时将相似的 query 组织成 tile 对齐的组，以便在 GPU 上高效执行。MC-Sparse 在去噪过程中缓存三类元数据：query 分组信息、用精确注意力概率选出的 KV 索引、以及密集与稀疏注意力输出之间的残差。这些元数据在后续去噪步骤中被复用，从而避免重复计算。 效果：接近密集注意力的质量与显著加速 在视频生成模型 Minimax-H3-Base 和 3D 资产生成模型上，MC-Sparse 的输出比现有稀疏注意力基线更接近密集注意力的输出，且没有可见的质量退化。具体加速数据：在 Minimax-H3-Base 上实现 1.80× 的去噪加速，在 3D 资产生成上达到 2.32× 加速。 值得注意 本文目前只有摘要，方法的具体实现细节（如元数据缓存策略如何保证不引入额外误差、tile 对齐的具体做法）以及与其他方法的完整对比实验在可见部分之外。