arXiv提出扩散模型校正训练框架：显著提升样本质量与多样性

摘要：arXiv发布了一种针对扩散模型的校正训练方法，通过引入校正步骤来减少训练与推理之间的差距，从而提升样本质量并保持多样性。该方法利用校正器对基础模型的预测进行迭代优化，有效防止中间步骤的伪影传递至最终样本。实验表明，该方法在无指导生成和无条件生成任务中表现优异，FID评分显著降低，且与无分类器指导（CFG）结合使用可进一步提升性能。

---

技术机制剖析

扩散模型通过迭代采样生成样本，但训练与推理阶段输入数据的不一致会导致误差积累。校正训练方法通过引入校正器来解决这一问题，其核心机制如下：

1. 校正器设计：校正器以基础模型的预测作为输入，并针对相同的真实目标进行训练。这使得校正成为一个显式的学习任务，训练输入由基础模型提供。
2. 迭代优化：在采样过程中，校正器在每个去噪步骤中迭代地优化去噪器的干净样本预测，从而在中间步骤中纠正预测，防止早期伪影传递至最终样本。
3. 性能提升：尽管校正器仅在基础去噪器的预测上进行训练，但在推理时反复应用于自身输出可获得更好的结果。实验表明，该方法在多个基准测试中显著提升了样本质量，同时保持了多样性。

工程权衡与实测表现

• 优势：

  • 显著提升无指导生成和无条件生成的样本质量，FID评分大幅降低。
  • 与CFG结合使用可进一步提升多样性，减少CFG常见的过度饱和问题。
  • 推理成本可通过将校正后的预测蒸馏回基础扩散模型来分摊，从而在不增加推理时间开销的情况下保留质量提升。

• 挑战：

  • 校正器的引入增加了训练和推理的复杂性，需要额外的计算资源。
  • 在某些特定任务或数据集上，校正器的效果可能需要进一步验证。

开发者落地与部署建议

1. 模型集成：开发者可以将校正训练方法集成到现有的扩散模型训练流程中，以提升样本质量。
2. 资源管理：由于校正器增加了计算开销，建议在资源允许的情况下使用，或通过模型蒸馏技术优化推理效率。
3. 应用场景：该方法特别适用于对样本质量要求较高的应用场景，如图像生成、视频生成等。

结论

校正训练方法为扩散模型的训练和推理提供了一种有效的改进途径，显著提升了样本质量并保持了多样性。其与CFG结合使用的潜力进一步扩大了其应用范围，为扩散模型的应用提供了新的可能性。

---

消息来源：ArXiv AI (cs.AI) (2026-10-14)

—— 完 ——

主题标签： #扩散模型 关注 #校正训练 关注 #样本质量 关注 #无分类器指导 关注