有限记忆POMDP强化学习获得神经近似有限时间遗憾保证

摘要：这项研究面向部分可观测马尔可夫决策过程中的长程历史依赖问题，将满足滤波器稳定性条件的POMDP近似为有限记忆窗口上的超状态MDP，并建立新的逐点逼近误差界。研究进一步在由POMDP轨迹生成的高度相关转移数据上，将时序差分学习、非线性神经价值函数与策略镜像下降结合，证明有限时间评论家误差界和相对于最优POMDP价值的次线性遗憾保证。数值实验支持理论结论，但其适用性仍取决于滤波器稳定性、记忆窗口、函数逼近误差及环境维度等条件。

---

核心贡献

这项研究解决的是强化学习中一个基础但长期存在的矛盾：POMDP 的真实状态不可直接观测，代理只能利用有限历史推断当前状态；而历史越长，状态表示和样本复杂度越高。

作者的研究路线不是在完整历史上直接学习，而是在满足滤波器稳定性假设的 POMDP 上，将最近长度为 (m) 的历史编码成“超状态”（superstate），从而构造有限状态 MDP 代理模型。核心结果包括：

1. 建立有限状态 MDP 的新逐点逼近误差界；
2. 对由 POMDP 轨迹生成的、具有时间相关性的超状态转移数据，证明非线性神经价值函数下时序差分学习的有限时间评论家误差界；
3. 将评论家误差界接入策略镜像下降框架，得到相对于最优 POMDP 价值的有限时间次线性遗憾保证。

据作者称，这是有限记忆 POMDP 场景中，首个基于神经函数逼近得到的有限时间次线性遗憾结果。

从历史到超状态：近似误差从哪里来

设真实 POMDP 的隐藏状态为 (s_t)，观测为 (o_t)，动作为 (a_t)。有限记忆代理使用长度为 (m) 的历史窗口：

[ h_t^m=(o_{t-m+1},\ldots,o_t) ]

超状态 MDP 将这段历史视为一个扩展状态。滤波器稳定性意味着：随着历史窗口增长，隐藏状态的后验分布应快速集中，使有限窗口能够近似充分统计量。

这一路径的关键不是“窗口越长越好”。窗口 (m) 增大时，状态空间从固定维度增长为历史的组合空间，近似误差虽然可能下降，但样本复杂度、函数逼近难度和优化难度都会上升。作者的新逐点误差界正是连接近似质量与后续学习保证的接口：只有超状态 MDP 与真实 POMDP 的价值差被控制住，针对代理模型学习到的策略，才能被转化为相对于真实 POMDP 值的遗憾界。

工程上，滤波器稳定性并非免费获得的性质。若环境中的隐藏状态变化很快、观测噪声长期积累或后验分布长期多峰，有限历史就可能无法恢复近似充分统计量。此时理论保证会失去适用基础，而不能仅靠增加网络容量来弥补。

TD 学习为何必须处理相关性

已有不少分析把强化学习样本视为独立同分布，但 POMDP 轨迹中的相邻转移共享历史和动作，具有显著时间相关性。忽略这一点会低估估计方差，使收敛和遗憾界过于乐观。

本文直接对 POMDP 生成的超状态转移应用时序差分学习，并证明有限时间评论家误差界。这一步意味着分析对象包含了真实数据生成机制中的自相关、状态访问分布偏斜以及轨迹内依赖，而不只是把有限记忆观测重新包装成普通 MDP 数据。

对实现而言，TD 学习可采用 tabular TD、线性 TD 或非线性 TD。本文将结果推进到非线性神经价值函数，因此理论上更贴近深度强化学习中的函数逼近器。不过，神经网络架构、优化器、目标网络更新、经验回放和探索机制如何对应证明中的算法，仍需查看完整论文与附录。

策略优化与遗憾保证

研究将评论家误差传递到策略层，与策略镜像下降（Policy Mirror Descent）结合。相较直接优化动作概率或普通梯度上升，镜像下降通过相对于参考策略的指数权重更新，能够利用策略空间的几何结构，并将评论家近似误差转化为策略性能损失。

若评论家误差随训练样本数呈次线性衰减，对应的策略遗憾也可获得有限时间次线性界。这一结果的实际意义是：在有限记忆近似成立的前提下，神经评论家不必局限于严格线性模型，仍可能获得可解释的样本效率与性能保证。

不过，“次线性遗憾”不是独立于环境条件的无条件结论。窗口长度、滤波器稳定性、函数逼近误差、观测噪声和折扣因子都会进入最终常数项。对于高维、长期、部分不可观测任务，“理论上次线性”不等于能在真实预算内给出高质量策略。

工程权衡

记忆长度与样本效率

更长的历史窗口可以降低部分可观测造成的信息损失，却扩大超状态空间，并可能使轨迹覆盖稀疏。工程上需要在信息保留、表示维度与数据需求之间折中，而不是把窗口无限延长。

理论保证与神经网络训练

线性函数逼近便于分析，但表达能力有限；神经网络更接近实际系统，却引入优化偏差和表示误差。论文的价值在于缩小这一理论—实践鸿沟，而不是消除所有超参数敏感性。

相关数据与独立同分布假设

沿用真实 POMDP 轨迹可以避免采样分布失配，但相关数据可能降低梯度估计稳定性。在线训练可通过轨迹分段、保守的离策略校正或专门的方差控制缓解这些问题；具体实现仍需以论文实验和代码为准。

数值验证的边界

摘要仅说明实验验证了理论结果，没有给出具体环境、窗口长度、网络规模、收敛曲线、遗憾斜率或基线设置。由于这类结果高度依赖环境是否满足滤波器稳定性，实验吻合不能自动证明其在非稳定 POMDP、长时域或高维观测空间中同样有效。

开发者落地建议

将该方法用于真实系统前，建议依次验证：

1. 检查滤波器稳定性：通过后验熵、状态预测误差和不同窗口长度下的性能曲线，判断有限记忆是否足以近似当前状态。
2. 分离窗口效应与网络效应：对多个记忆长度和模型容量做消融，确认收益来自信息保留，而不是更大的网络带来的额外拟合能力。
3. 使用序列感知的评估方式：报告完整轨迹回报、平均步奖励、策略遗憾及置信区间，避免只比较单步预测误差。
4. 压测非平稳与长时任务：如果真实任务存在观测丢失、动作延迟或任务阶段切换，原定理中的环境稳定性可能不再成立。
5. 评估在线数据效率：记录达到给定回报所需的真实环境交互数，而不只是梯度步数。

对研究团队而言，这篇论文更适合作为有限记忆 POMDP 的理论基线：为评论家设计、有限记忆编码器和策略优化算法提供误差与遗憾分析框架，而不是直接作为生产级算法的现成配方。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-11-06)

—— 完 ——

主题标签： #POMDP 关注 #神经强化学习 关注 #有限时间遗憾 关注 #时序差分学习 关注 #策略镜像下降 关注