ArXiv提出贝尔曼校准方法：优化离线强化学习中重要性权重估计

摘要：ArXiv团队提出了一种名为贝尔曼校准的新方法，用于改进离线强化学习中重要性权重的估计。该方法通过应用一维非递减变换的拟合校准比率评估（FORE），在保持初始估计的排序信息的同时，显著减少了校准误差。该方法通过条件固定点属性与校准平衡性等效性进行理论描述，并提供了有限样本校准保证和KL风险不等式，展示了其在目标占据函数估计中的有效性。

---

背景与挑战

在离线强化学习中，重要性权重用于评估目标策略，通过对离线状态-动作样本进行重新加权来实现。这一过程由伴随的贝尔曼方程描述。然而，现有的极小极大、原-对偶和拟合不动点估计器由于函数类近似、正则化或不完整优化等原因，可能留下残差校准平衡性偏差。这些偏差难以诊断和减少，因为目标函数通常缺乏用于超参数调整、模型选择和提前停止的直接监督验证损失。

方法与创新

ArXiv团队提出了一种名为贝尔曼校准的新方法，通过以下方式解决上述问题：

1. 一维非递减变换：该方法应用一维非递减变换的拟合校准比率评估（FORE），在保持初始估计的排序信息的同时，校正估计的规模和形状。
2. 条件固定点属性：贝尔曼校准被描述为与校准平衡性等效的条件固定点属性，这意味着对任何校准比率的测试函数都实现了校准平衡。
3. 校准-细化界限：研究推导了校准-细化界限，表明具有小校准误差的拟合比率几乎与基于其拟合值的最佳后处理方法性能相当。

实验与结果

对于贝尔曼校准，研究团队建立了有限样本校准保证，并相对于初始估计的最佳单调变换建立了KL oracle不等式。结果表明，贝尔曼校准在统计误差范围内实现了小的校准误差和KL风险，并保证了目标占据函数估计的性能。

行业影响与建议

• 对离线强化学习的影响：贝尔曼校准为离线强化学习中重要性权重的估计提供了更精确的方法，有助于提升模型在复杂环境中的表现。
• 对AI开发者的建议：AI开发者可以采用贝尔曼校准方法，以减少离线强化学习中的校准误差，从而提升模型的可靠性和准确性。
• 未来研究方向：未来的研究可以进一步探索贝尔曼校准在不同应用场景中的适用性，并结合其他优化技术以实现更高效的校准过程。

---

消息来源：ArXiv cs.LG (2026-08-25)

—— 完 ——

主题标签： #离线强化学习 关注 #贝尔曼方程 关注 #重要性权重 关注 #校准方法 关注 #ArXiv 关注