智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #扩散Transformer #强化学习后训练 #激活引导 #SD3.5-M #LoRA

扩散Transformer强化学习后训练,大半收益来自激活引导

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:一项扩散 Transformer 后训练研究给出反直觉解释:强化学习带来的多数奖励增益,可能不是新增提示条件化能力,而是冻结基座各层输出可被固定激活偏移复现。在 SD3.5-M 上,导向向量仅 0.29M 参数,约为 RL-LoRA 18.8M 的 1/65;不依赖奖励拟合公开 RL 检查点的速度预测后,可解释六个图像模型 90.0%—96.3% 的奖励增益,并在两个视频模型上达到 89.8% 与 111.9%。不过摘要未披露绝对分数、置信区间、完整模型清单和代码状态,结果仍需独立复现。


扩散 Transformer 的策略梯度后训练,常被解释为模型学会了按提示动态改写内部计算;这项研究却发现,大部分可测奖励增益可以由冻结基座上的输入无关激活平移近似。

核心发现:把 RL 后训练拆成固定偏移与条件化残余

研究构造了一个刻意简化的探针:冻结基础扩散 Transformer,在选定 block 的输出隐藏状态中加入可学习的导向向量 s_l,即 h_l' = h_l + s_l。这些向量在实验设置中对所有提示、token 和采样种子保持不变,因此不会根据当前生成内容选择不同策略。

论文采用了两条互补路径。第一条是后验蒸馏:固定基座与向量,通过匹配公开 RL 检查点的速度预测来拟合导向向量,目标中不使用奖励。第二条是直接后训练:以零初始化向量并用在线策略梯度 RL 训练,只更新这些向量。前者检验 RL 检查点的行为能否被低容量激活偏移压缩,后者检验极低容量参数化能否直接获得奖励。

结果:0.29M 向量复现大部分 RL 增益

| 实验设置 | 论文报告 | | --- | --- | | SD3.5-M 参数效率 | 导向向量为 0.29M,RL-tuned LoRA 为 18.8M,约少 65 倍 | | 六个 RL 图像模型 | 固定向量恢复 90.0%—96.3% 的奖励增益 | | 两个 RL 视频模型 | 分别恢复 89.8% 与 111.9% 的奖励增益 | | SD3.5-M 在线 RL | 仅训练向量时,OCR 与 PickScore 的奖励增益超过基于权重的 RL |

这里的百分比衡量的是相对基座的奖励增益恢复率。111.9% 表示导向向量获得的增益超过公开 RL 检查点相对基座的增益,并不自动意味着它在每个提示、每项指标或每个模型上都取得更高绝对分数;非线性拟合、采样波动和检查点选择都可能影响该比值。

技术机制:常量隐藏状态平移为何能影响生成结果

扩散 Transformer 通常预测噪声速度或速度场 v(x_t, t, c),其中条件 c 编码文本提示。RL 后训练会改变模型在不同条件下的输出分布,使更受奖励偏好的文字、构图或审美模式获得更高概率。

虽然注入的隐藏状态偏移不随提示变化,但后续注意力、归一化和 MLP 具有非线性,因此固定偏移最终不必产生固定输出偏移。它可以改变模型对既有生成模式的偏好,把轨迹推向更清晰的字形、更稳定的物体关系或更符合奖励模型审美的区域。换言之,固定向量更像一个全局生成先验,而不是条件化算法。

速度匹配可概念化为最小化 E[||v_steer - v_RL||²]。它属于对教师策略的蒸馏,而不必反复 rollout 并计算奖励。结果说明,在被检查的 block 输出层面,公开 RL 检查点的大部分功能可由平均激活变化近似;但这并不证明原 RL 权重内部只发生了均值平移,也不证明其条件化残余能力不存在。

工程权衡与实测表现

  • 参数与存储优势明显。 SD3.5-M 上的 0.29M 向量只相当于 LoRA 参数量的约 1.5%,便于作为轻量插件分发。但参数减少不等于训练完全免费:在线 RL 仍需生成 rollout、保存反向传播所需激活,并让梯度穿过冻结网络传播到向量。
  • 推理开销理论上很小。 每个被干预 block 只增加一次隐藏维度向量加法,计算复杂度为 O(d)。若通过 Python hook 或未融合算子实现,额外内核启动与内存访问可能抵消部分收益,生产环境应将加法融合进 Transformer block。
  • 表达能力存在上限。 固定向量无法根据提示选择不同偏移,适合全局改善文字清晰度、构图倾向或审美风格,却不适合真正需要输入相关路由的新能力。追求这类能力时,更合理的方向是全局向量加小型条件化残差适配器。
  • 跨模型迁移不可直接假定。 隐藏空间坐标由基座架构和训练过程决定,同一组向量通常不能直接迁移到其他 checkpoint、分辨率或版本;部署时应按基座精确绑定并重新拟合。
  • 复现信息仍有关键缺口。 采集摘要没有给出插入哪些 block、向量系数、是否随扩散 timestep 条件化、速度匹配数据规模与采样预算,这些都会显著影响结果。

评测应如何审慎解读

首先,论文主要报告相对增益恢复率,缺少基线、RL 检查点和导向模型的绝对分数;当分母较小时,百分比容易放大。其次,摘要未列出六个图像模型、两个视频模型的完整身份,也未披露随机种子、置信区间、提示集、采样步数、CFG、分辨率及奖励版本。

OCR 与 PickScore 也只是可操作但有限的代理指标。OCR 需要核对字符级准确率、错误类型及困难提示覆盖率;PickScore 属于学习式偏好代理,不能替代盲测人工偏好。摘要提到视觉质量与组合准确性提升,却未给出对应指标定义,也未报告多样性退化、提示遵循率或安全行为变化。公开 RL 检查点的可获得性还可能引入选择偏差:能被稳定拟合的检查点未必代表全部后训练策略。

开发者落地建议

  1. 若目标是低成本改善全局生成偏好,可冻结基座,先按 block 拟合导向向量,再对系数、注入层和 timestep 调度做小规模搜索。
  2. 评测必须同时报告绝对分数与增益恢复率,并覆盖 OCR、构图、审美偏好、多样性和既有能力回退;所有配置使用相同提示、采样器与计算预算。
  3. 将向量实现为可热插拔的模型插件,保留基础权重和回滚开关,避免把低容量偏移固化到不可审计的主干 checkpoint。
  4. 若固定向量无法解决提示特定问题,再加入条件化残差模块,而不是扩大全局向量容量,以免重新退化为低可解释度的权重补丁。
  5. 在生产采用前复现公开结果,并确认目标 checkpoint、奖励函数和许可证均与论文设置一致。

消息来源:Hugging Face Daily Papers (2026-11-19)

—— 完 ——

主题标签: #扩散Transformer #强化学习后训练 #激活引导 #SD3.5-M #LoRA

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…