IDRF：掩码离散扩散模型的反向蒸馏奖励微调
来自 arXiv · 期号 2026-10-03
摘要
掩码离散扩散模型相比自回归生成有优势，但迭代采样成本高，且序列似然难以处理，导致奖励微调困难。 IDRF 框架通过反向蒸馏正则化替代序列级 KL 惩罚，优化轨迹替代损失，使用裁剪策略梯度来微调少步生成器。理论证明，在最优辅助去噪器下，反向蒸馏损失上界序列级 KL 散度到参考分布。 在 DNA、图像、文本生成任务上，IDRF 实现高奖励，去噪步数比参考模型减少多达 32 倍，同时缓解奖励黑客并保持样本质量。