StructRL用重放图提取稀疏奖励下的可迁移策略

摘要：StructRL把强化学习经验整理为显式重放图，通过动态规划在已观测状态空间中提取通向目标的最短路径，再将图策略作为DQN的动作偏好或SAC的连续方向标签。其在MiniGrid稀疏奖励任务上显著提高成功率，并在蒸馏后的DoorKey 6×6控制器中覆盖91%的可达状态。论文同时指出，图的覆盖不完整、结构别名和在高维输入中丢失图结构信息，是方法扩展的主要瓶颈。

---

核心思路：把回放经验变成可查询的状态图

StructRL不依赖额外训练一个环境模型，而是把智能体已经经历的状态—动作—奖励转移整理成显式重放图。图中的节点对应可区分的状态，边对应已观测到的状态转移；一旦其中存在通向目标的路径，系统就在已覆盖的状态子图上运行动态规划，计算到达目标所需的最短路径及其动作序列。

由此得到的并不是在所有状态上都有定义的全局策略，而是一个受经验支撑的局部图策略：只有当策略指定动作所需的转移已经在图中出现时，该动作才被视为可信。其关键假设是，已观测轨迹不仅包含训练样本，还隐式记录了环境的状态可达结构。

如何接入无模型强化学习

StructRL把图策略转换为两种监督信号：

• DQN：图上的最优路径产生动作偏好，用于调整Q模型的训练目标或价值分布。
• SAC：图路径的方向可转化为连续动作空间中的目标方向标签，为策略或行为学习提供稠密引导。

这种接入方式保留了DQN、SAC等无模型算法的在线采样机制，同时让经验回放承担结构归纳的角色。与直接增加网络容量相比，它增加的主要成本是图的存储、节点匹配和最短路径计算；与显式学习动力学模型相比，它也不需要预测未观测转移。

实验表现

在三个MiniGrid稀疏奖励任务上，StructRL将DQN的最终成功率分别从0.10提升至0.90（DoorKey）、从0.10提升至0.80（KeyCorridor），并将ObstructedMaze从0提升至0.50。普通DQN即使获得三倍训练预算，也没有追平这些结果。

在连续控制PointMaze上，图生成的方向标签将最终成功率从0.17提升至1.0；该结果基于7次匹配运行中到达目标的样本，样本量较小。

更关键的是策略蒸馏结果：将图策略蒸馏到全新的Q模型后，DoorKey 6×6控制器可从91%的可达状态到达目标，而普通DQN仅为38%。这说明图结构提供的并不只是当前轨迹上的动作提示，而有可能被压缩为覆盖更广状态空间的行为先验。

工程权衡：结构先验并非免费午餐

重放图存在三类直接瓶颈：

1. 图支持不完整：如果目标路径中的关键转移从未被观测，动态规划就无法越过缺口。探索不足会使图策略只在局部区域有效。
2. 结构别名：视觉或高维输入中，不同真实状态可能被编码为相同或相近节点，导致错误合并或错误边连接。可靠的状态标识与去重策略因此直接决定图质量。
3. 图信息在高维输入中衰减：即使标量状态可被准确建图，图像观测下相似外观也可能对应不同拓扑位置，结构别名会进一步放大。

图构建还带来存储与更新成本。状态键需要保存，边表会随转移数量增长；节点匹配若采用近似最近邻，还会引入额外计算和误连风险。实际实现应记录图的节点数、边数、重复节点比例、可达状态覆盖率及图构建耗时，而不是只报告最终成功率。

评测应如何审慎解读

论文结果覆盖离散稀疏奖励导航和连续PointMaze，但尚不足以证明StructRL在图像控制、机器人操作或大规模环境中普遍有效。尤其是PointMaze的1.0成功率只对应7次匹配运行中到达目标的试验，不能等同于高置信度的总体成功率。

此外，StructRL与普通DQN的对比同时改变了训练信号，比较时应保持网络规模、优化预算、环境实例和随机种子严格匹配。DoorKey 6×6的91%状态覆盖率是比单一终点成功率更有工程意义的指标，但其外推到更大网格时仍可能受到图规模增长影响。

开发者落地建议

StructRL最适合探索稀疏奖励、拓扑结构明确且状态可稳定离散化的环境，例如网格导航、路径规划或离散图环境。接入时建议先验证三个条件：状态是否能可靠映射为节点、图是否覆盖足够多的通向目标的转移、错误节点合并是否会污染策略。

一种稳妥的工程流程是：先以原始离散状态构建图并生成伪标签，再训练或微调Q模型；确认收益后，再研究感知编码器、候选节点检索和近似图匹配。所有改进都应以固定预算下的无结构基线为对照，并同时报告终点成功率、可达状态覆盖率、图构建开销及失败状态分布。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-11-13)

—— 完 ——

主题标签： #StructRL 关注 #强化学习 关注 #重放图 关注 #稀疏奖励 关注 #DQN 关注