Diffusion Controller 统一并简化
来自 Google Research · 期号 2026-09-30
摘要
Google Research 提出 Diffusion Controller，把图像生成从离散步骤重构成一个连续控制问题。 它的核心是一个轻量的「转向阻尼器」网络，附着在冻结的基座模型上（包括闭源模型），在去噪过程中动态调整生成轨迹，让输出更贴合 prompt。 在 Stable Diffusion v1.4 上的测试中，灰盒版（只改外部网络）的 HPS-v2 胜率超过了 LoRA；白盒版（同时微调基座模型）对基线的胜率达到 90%。用户可以通过一个推理时参数实时调节控制强度。 论文附了开源代码。
深读
导读 Google Research 提出 Diffusion Controller，将图像生成从离散步骤重构为一个连续控制问题。它用一个轻量的「转向阻尼器」网络附着在冻结的基座模型上（包括闭源模型），在去噪过程中动态调整生成轨迹，让输出更贴合 prompt。读完能理解一种统一、可微调、且能适配黑盒模型的图像生成控制新范式。 关键信息 - Diffusion Controller 的核心是一个轻量「转向阻尼器」网络，附着在冻结的基座模型上，不修改基座模型权重即可工作。 - 在 Stable Diffusion v1.4 上测试，灰盒版（只改外部网络）在 SFT 和 RWL 赛道上的 HPS-v2 胜率超过了 LoRA。 - 白盒版（同时微调基座模型）对基线的胜率达到 90%。 - 用户可通过一个推理时参数实时调节控制强度，在 prompt 对齐和图像稳定性之间做平滑权衡。 - 论文附了开源代码。 逐节讲解 问题：图像生成的控制手段碎片化 现有方法分为两类：推理时技术（如无分类器引导）在线调整 prompt 影响，以及参数高效微调（如 LoRA、奖励加权回归、策略梯度）改变模型行为。这两类工具被当作互不相关的补丁，缺乏统一的数学语言来分析和优化控制。工程师在平衡用户偏好对齐与图像质量时只能靠试错。 方案：将去噪过程重构为连续控制问题 Diffusion Controller 把整个去噪过程（从随机噪声逐步细化成清晰图像）视为一个平滑的连续控制问题。基座模型被比作一辆大马力摩托车，Diffusion Controller 是一个附着的「转向阻尼器」—— 基座模型完全冻结不动，阻尼器在生成过程中动态调整轨迹，给那些能最大化用户定义目标（如艺术风格、上下文对齐）的方向更多权重。同时内置一个「惩罚护栏」，防止为了满足 prompt 而扭曲图像的自然特征（如蜥蜴的鳞片和比例）。 实现：两种微调方法与阻尼器网络 从理论到实践，论文将抽象的控制方程转化为两种基于最终奖励分数的微调方法： - 策略梯度与 PPO（稳定优化器）：通过计算出的增量调整逐步引导模型，内置「裁剪规则」防止行为突变，保证训练稳定。 - 奖励加权损失（捷径）：直接奖励产生高质量结果的生成过程，数学上保证模型学会生成用户意图中的图像。 「转向阻尼器」网络解决了一个实际问题：最好的图像生成模型往往是闭源的（黑盒或灰盒）。该网络观察正在去噪的图像，注入精确的微观转向修正，让工程师无需触碰底层代码就能控制闭源模型。 实验：在 SD v1.4 上超越 LoRA 实验在 Stable Diffusion v1.4 上进行，测试了三种微调范式（SFT、RWL、PPO），用 HPS-v2 衡量 prompt 对齐和美学效果。实现了四种网络结构： - Diffusion Controller：灰盒版，输入中间反向均值，带侧…