HQL动态校正离线长程Q学习，兼容流与扩散策略

摘要：Horizon-Scalable Q-Learning（HQL）针对离线强化学习中长时序价值估计的两难：单步TD误差会沿轨迹累积，多步TD又会持续引入行为策略偏差。HQL仅在评论家认为数据集动作优于行为克隆策略采样的最佳动作时扩展目标，否则退回单步TD。该规则无需估计动作密度，因而可用于流匹配和扩散策略。论文在组合锁、OGBench和OCBench长程任务上优于既有时序缩短方法，但摘要未披露消融细节、计算开销与独立复现结果。

---

HQL解决的核心问题：离线长程价值估计的双重偏差

Horizon-Scalable Q-Learning（HQL）没有采用固定步数的TD目标，而是依据当前评论家对动作价值的判断，在单步TD与沿数据集轨迹扩展的多步目标之间动态切换。其关键触发条件是：数据集动作的估计价值不低于从行为克隆策略采样的N个候选动作中的最优值；满足时保留数据集动作，否则使用单步TD目标。

这一问题来自离线强化学习的固有约束。单步TD在每次转移后执行自举，若每步价值误差为 $\epsilon$，长度为 $H$ 的轨迹可能累积至 $O(H\epsilon)$，早期状态尤其容易被错误估值。多步TD沿着数据集多走几步，可以缩短自举链，但只要行为策略次优，每多跟随一个动作就可能增加偏差。固定的多步截断长度因此只能在偏差与方差之间折中，无法适配整条轨迹。

机制：用价值门控决定是否扩展目标

设单步TD目标为：

$$ y_t = r_t + \gamma Q_{\bar\theta}(s_{t+1}, a_{t+1}) $$

传统多步方法会进一步把 $Q(s_{t+1}, a_{t+1})$ 替换为数据集轨迹上的多步回报。HQL则比较数据集动作 $a_{t+1}$ 与行为克隆策略采样集合中的候选动作。只有当：

$$ Q_{\bar\theta}(s_{t+1}, a_{t+1}) \geq \max_{i=1,\ldots,N} Q_{\bar\theta}(s_{t+1}, a_i) $$

才允许目标沿数据集动作继续扩展；否则退回单步目标。

这可以理解为一种保守的价值门控：只有当离线数据中的动作没有被当前评论家明显判定为劣于策略候选时，才利用数据轨迹中的后续结果。门控仍带有“数据集动作不劣于最佳候选”的近似性，不能等同于完整的最优动作约束；若评论家本身失准，门控也会继承其误差。

为什么不需要动作密度

许多离线RL方法需要显式的行为策略分布或动作密度，例如重要性采样权重：

$$ \rho = \frac{\pi(a|s)}{\mu(a|s)} $$

这在离散动作空间中相对容易实现，但连续高维动作空间、尤其是流匹配和扩散策略下，动作密度通常难以计算。HQL改用价值比较作为离策略校正信号，因此不要求估计 $\mu(a|s)$，也不需要执行重要性采样。

这一设计让HQL能够直接接入生成式动作策略。不过，best-of-N比较仍会产生额外推理成本：候选动作越多，策略采样和Q值评估次数越高。若N设置过大，长程训练的吞吐量可能下降；若N过小，门控又容易将偶然的高估值候选误认为行为策略最优动作。

组合锁实验揭示的失效模式

论文在组合锁任务上比较单步TD、多步TD与HQL。单步TD在较长时域中会出现明显的价值估计失真，即使局部TD损失较小，早期状态仍可能因误差沿链累积而得到错误价值；固定多步TD则会因数据轨迹中的次优动作持续累积偏差。

HQL在两者之间切换，因此能随状态和轨迹位置改变目标长度。该结果支持其核心设计：长程任务的关键不是预先选定一个统一截断参数，而是让每一步根据当前动作价值决定是否值得承担多步偏差。

不过，组合锁任务具有清晰且低维的动作结构，尚不能完全代表高维机器人控制、工具调用或多智能体环境中的长程信用分配。不同任务上的最优N是否稳定、评论家校准误差对门控的影响，仍需通过额外消融确认。

OGBench与OCBench结果及评测边界

论文报告HQL在长程OGBench和OCBench任务上优于既有时序缩短方法，说明动态目标扩展在更长任务中优于固定单步或固定多步方案。

但现有摘要没有提供完整评测表，仍需重点核查以下问题：

• 与各类固定步数TD基线相比，是否同时报告了多个步长，而不是只选择HQL最有利的对照；
• HQL是否在相同网络规模、训练步数与样本量下进行比较；
• best-of-N采样带来的额外策略与评论家调用是否计入训练成本；
• 结果是单任务、单种子还是跨多个随机种子统计；
• 对行为策略质量、奖励稀疏性和动作空间维度的敏感性如何；
• 在真实机器人或在线策略数据上是否仍成立。

因此，现阶段更适合把HQL视为一种结构清晰、可扩展到生成式策略的离线RL校正机制，而不是已经完成全面验证的通用算法。

开发者落地建议

1. 先建立多步长度基线：同时实现单步TD、多个固定截断步数及HQL，避免仅与较弱基线比较。
2. 调小N起步：对N进行敏感性扫描，并记录策略采样与Q评估带来的训练吞吐损耗。
3. 监控评论家校准：如果数据集动作频繁输给生成策略候选，HQL将退化为更多单步TD，长程偏差问题可能重新出现。
4. 为流与扩散策略预留接口：由于HQL不依赖动作密度，可直接对采样动作执行价值排序，但需实现稳定的批量Q值推理。
5. 报告成本而非只看回报：同时记录环境步数、梯度步数、策略采样次数、Q函数调用次数和总训练时长。
6. 验证任务分布：除标准基准外，加入稀疏奖励、长工具链和部分次优数据，观察门控是否在分布外失效。

HQL的价值不在于彻底消除离线RL中的分布偏移，而在于用评论家已经学习到的价值排序替代难以获得的动作密度。这降低了算法与连续生成式策略集成时的建模门槛，但离可信的机器人长程信用分配仍有验证距离。

---

消息来源：Hugging Face Daily Papers (2026-11-07)

—— 完 ——

主题标签： #离线强化学习 关注 #长程信用分配 关注 #Q值学习 关注 #扩散策略 关注 #流匹配 关注