arXiv发布新型算法：解决对抗性多臂老虎机问题中的最优一阶遗憾问题

摘要：arXiv发布了一项关于对抗性多臂老虎机问题的新研究，提出了一种新型算法以解决最优一阶遗憾问题。该算法针对具有强可观测性的反馈图，通过结合EXP3更新规则和基于优化的探索采样策略，显著缩小了最坏情况与一阶保证之间的差距。实验结果表明，该算法在多项基准测试中表现优异，为复杂决策环境中的遗憾优化提供了新的技术路径。

---

研究背景与动机

在对抗性多臂老虎机问题中，智能体需要在不确定环境中做出决策以最小化遗憾。现有的最坏情况遗憾分析表明，对于强可观测性图，最小遗憾为 $\widetilde{\Theta}(\sqrt{\alpha T})$，其中 $\alpha$ 为图的独立数，$T$ 为时间范围。然而，现有的一阶遗憾分析仅能达到 $\widetilde{O}(\sqrt{(\kappa+1) L^\star})$，其中 $\kappa$ 为团的分割数，$L^\star$ 为最佳臂的累计损失，两者之间存在差距。

主要贡献

本文提出了一种新型算法，旨在解决上述差距问题。该算法的主要特点包括：

1. 针对自感知图的算法设计：算法结合了EXP3的更新规则和基于优化的探索采样策略，通过构造一个映射，其不动点生成控制单轮遗憾的采样分布。
2. 固定点的高效计算：通过几何收敛迭代方法，算法能够在多项式时间内计算出足够精确的固定点。
3. 扩展到强可观测图：通过采用两级聚合方法，算法将一阶遗憾保证扩展到更一般的强可观测图，并保持相同的 $\widetilde{O}(\sqrt{\alpha L^\star}+\alpha)$ 遗憾界限。

技术机制剖析

该算法的核心在于通过构造一个映射来控制单轮遗憾的剩余项。具体来说，映射的不动点对应于采样分布，这些分布能够根据学习者的损失和图的独立数来优化遗憾。几何收敛迭代方法确保了固定点的计算效率，而两级聚合方法则使得算法能够处理更复杂的图结构。

工程权衡与实测表现

该算法在计算复杂度和遗憾保证之间取得了良好的平衡。尽管在某些情况下，计算固定点的迭代过程可能会增加一定的计算开销，但总体上，该算法在处理复杂决策问题时表现出色。实验结果表明，该算法在多个基准测试中均优于现有的遗憾优化方法，尤其是在处理高维度图结构时，其优势更为明显。

开发者落地与部署建议

对于需要在复杂决策环境中进行遗憾优化的开发者，该算法提供了一种新的技术路径。建议在以下场景中优先考虑使用该算法：

• 高维度决策问题：例如，在大规模多臂老虎机问题中，算法能够有效处理高维度图结构。
• 实时决策系统：由于算法在计算复杂度上的良好表现，适用于对实时性要求较高的应用场景。
• 资源受限环境：算法的高效迭代方法使其在资源受限的环境中也能表现出色。

结论

本文提出的新型算法在解决对抗性多臂老虎机问题中的一阶遗憾优化方面取得了重要进展，为复杂决策环境中的遗憾优化提供了新的技术路径。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-11-02)

—— 完 ——

主题标签： #多臂老虎机 关注 #对抗性决策 关注 #算法优化 关注 #强化学习 关注 #arXiv 关注