Reddit用户分享AI算法研究进展:优化单玩家随机合并谜题决策
摘要:Reddit用户CaiwenGong分享了其关于单玩家随机合并谜题AI的研究进展。该AI需要解决一个类似于2048但更复杂的游戏,面临更大的动作空间、堆叠约束以及提前预览的随机事件挑战。CaiwenGong详细介绍了游戏规则、当前AI架构、训练方法以及遇到的问题,并寻求相关算法、论文或开源项目的建议。该研究展示了AI在复杂决策问题上的应用潜力,并为类似游戏AI开发提供了参考。
研究背景与目标
Reddit用户CaiwenGong正在开发一种用于单玩家随机合并谜题的AI,其游戏机制与2048类似,但具有以下特点:
- 更大的动作空间:每次选择两个不同列的组合,共30种可能动作。
- 堆叠约束:游戏板包含6个垂直堆叠,每个堆叠最多7个元素。
- 随机事件预览:每四次玩家动作后,系统会提前预览六个随机生成的元素,玩家需根据预览结果进行决策。
AI的目标是最大化单局游戏中的9的数量,以及在30分钟内生成的总9的数量。由于游戏允许死亡后重启,因此更接近于一个持续的平均奖励/吞吐量问题,而非传统的分阶段得分问题。
AI架构与训练方法
状态表示
当前AI的状态表示包括:
- 6x7x9的独热编码游戏板
- 四动作循环阶段
- 六个预览值(若已知)以及预览存在标志
- 当前随机元素值上限
- 当前循环和过去三个循环中达到的最大空列数
总共有394个特征。
网络结构
- 策略/价值网络:采用列置换等变设计,每个列由一个共享编码器处理。
- 动作评分:有序的源/目标列对头对30种动作进行评分。
- 价值预测:预测未来9的数量、距离下一个9的归一化距离以及短期死亡风险。
训练过程
训练过程采用专家迭代/重分析的形式:
- 使用束搜索和策略/价值引导的PUCT生成长游戏。
- 保存完整片段、根访问分布、9事件位置、死亡事件和可选的根动作值。
- 对列置换增强数据进行训练。
- 对首次9之后的状态、包含7/8元素的状态、高分片段以及类似人类长游戏结构的状态给予额外的策略权重。
- 使用更新后的网络生成新的PUCT轨迹并重复。
当前结果与挑战
在假设的高值偏向的随机分布下,AI的表现如下:
- 早期显式机会PUCT模型在16个片段中总共生成81个9(平均5.06,最大11,2365个动作)。
- 搜索蒸馏后生成的单局最高分为13个9,共272个动作。
- 添加四循环空列历史记录后,12个新片段中总共生成59个9,平均每1000个动作生成35.2个9。
尽管AI在某些方面表现出色,但与人类在定时模式下的表现相比仍有差距。
遇到的问题
- Q头学习失败:离线MAE较低,但闭环搜索表现更差。
- 联合微调Q共享编码器:降低了现有的策略和价值估计。
- 增加根最小访问次数:从2增加到3反而降低了性能。
- 增加模拟次数:从128增加到192未带来改进。
未来研究方向
作者正在考虑以下方法:
- 2048风格的后状态TD/N元组价值学习
- Gumbel MuZero/根处的顺序减半
- 持久树重用
- 多层次或分布式价值预测
- 平均奖励训练
- 状态切换的下降模型
- 冻结基础网络加残差适配器
关键问题
作者提出了多个问题,包括是否有现成的算法或开源项目、是否应采用N元组后状态价值网络加期望最大化、模拟次数的分配策略以及如何训练后状态价值等。
结论
该研究展示了AI在复杂随机环境中进行决策的潜力,并为类似游戏AI的开发提供了宝贵的见解和经验。
—— 完 ——消息来源:Reddit r/MachineLearning (2026-08-11)
主题标签: #AI游戏 #强化学习 #智能体 #决策优化 #PUCT算法
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区