16.7M参数扩散世界模型让《宝可梦红》在想象中运行
文 / Mr.Xu 社区投稿
发布时间：
摘要：开发者 Priyanshu Sah 公开了一套可在《宝可梦红》中交互的扩散世界模型及配套分层游戏智能体。世界模型仅用16.7M参数，以72×80灰度帧为输入，根据最近4帧和按键动作预测下一帧；每10步用4个真实帧重新同步。System 2读取RAM并制定目标，System 1则由10个158万参数行走策略负责执行。策略完全在模型想象空间中训练后迁移至真实游戏，首个道馆徽章测试达到30/30，但战斗环节仍依赖脚本。全部训练仅消耗单张RTX 4090上的50 GPU小时。
轻量扩散模型如何把游戏变成可交互环境
这套项目没有训练一个覆盖完整游戏规则的大模型，而是把问题拆成三层：16.7M参数的扩散世界模型负责生成下一帧，System 2规划器负责读取状态和选择目标，10个各1.58M参数的System 1策略负责具体移动。三层共同构成一个可在《宝可梦红》模拟器中运行的闭环智能体。
世界模型采用DIAMOND风格的EDM U-Net，输入是最近4张72×80灰度帧以及按键动作，输出下一帧预测。按键是离散条件，图像则经过编码后注入去噪网络；训练目标本质上是让扩散模型学习条件状态转移分布，而不是直接预测动作价值。
在闭环运行中，模型每预测10步就重新读取4张真实模拟器帧，其余步骤完全使用自己的预测继续生成。这种周期性校准比纯离线视频预测更实用，因为扩散模型在长轨迹中会积累状态漂移；不过，重同步也意味着系统并未实现完全开放世界下的长期自洽推演。
System 1 / System 2如何分工
慢速的System 2读取模拟器RAM，维护升级、治疗、赶路、道馆等高层目标，还能查询图鉴和Bulbapedia攻略。它既可使用规则，也可接入本地LLM，并在执行前用游戏内存验证决策是否符合当前状态。
快速的System 1由10个小型行走策略组成，每个策略约1.58M参数。研究者没有让这些策略在真实游戏中采集训练轨迹，而是在扩散世界模型的 imagination rollout 中完成训练，之后才迁移至真实模拟器。这种方式减少了真实环境交互成本，也允许策略在失败代价较低的生成环境中反复探索。
项目测试了6个本地LLM作为规划器，其中5个取得10/10的首个道馆徽章成功率。最佳规划器完成任务的按键次数中位数为7,144.5，而手写规则为8,779.5，说明模型规划在样本内确实压低了动作数量。不过，按键次数不是最纯粹的效率指标：它可能忽略路径长度、等待时间、错误恢复成本和任务完成后的状态质量。
工程成本与模型规模
世界模型、行走策略、放大器和着色器合计使用单张RTX 4090训练50 GPU小时。72×80输入把空间状态压缩到5,760个像素，适合低成本扩散采样；16.7M参数的U-Net也避免了大型视频模型的算力负担。
代价是模型必须以较高频率去噪，而扩散采样成本通常远高于自回归单步预测或隐空间动力学模型。文中没有披露每次预测的采样步数、实时帧率或端到端延迟，因此无法确认模型能否在4090上以完整游戏速度持续运行。若要评估实用性，应补充每秒生成帧数、每步去噪次数、峰值显存和CPU模拟器开销，而不能只看训练GPU小时数。
灰度输出如何恢复为可观看画面
项目额外训练了两个小网络：一个0.72M参数的上采样器，把72×80灰度帧放大到144×160；另一个1.91M参数的逐像素着色器负责恢复颜色。作者报告着色器在留出帧上的颜色准确率为99.27%，每个网络训练约25分钟。
需要注意，99.27%的逐像素颜色准确率是在留出帧上测得，可能受到像素级颜色分布和游戏素材重复性的影响，不能直接等同于主观视觉质量。上采样器也可能放大世界模型产生的时序不一致。展示中还用Blender依据地图数据重建城镇，说明模型画面可以作为环境渲染结果被重新包装，但这部分并不是世界模型本身完成的内容。
实测表现与关键短板
完整智能体在真实模拟器中取得首个道馆徽章30/30。战斗尚未由世界模型可靠建模：生成环境经常提前结束战斗，因此当前战斗流程仍由脚本处理。这一负面结果很重要，因为它说明“能导航”并不等于“已学会完整游戏动力学”。
项目还提出以模拟器RAM作为世界模型漂移的基准，并计划研究漂移和战斗保真度。对于扩散世界模型，视觉误差不一定对应状态误差：画面上的一帧可能看起来正常，但HP、道具数量或地图坐标已经偏离。因此评测应同时记录像素重建指标、RAM状态误差、任务成功率、长期重同步频率及模型想象与真实模拟器之间的action consistency。
开发者如何复现与评估
作者表示代码、权重和完整展示已提供。复现时建议保持以下顺序：
- 先验证世界模型在单步和短轨迹上的next-frame质量，而不是只看生成视频。
- 记录每次生成的采样步数、延迟和显存占用，确认是否达到实时交互要求。
- 在固定种子上分别比较规则规划器与LLM规划器，报告完整任务轨迹和失败类型。
- 将System 1从想象空间迁移到真实环境时测量分布偏移，避免把生成环境中的过拟合效果当作真实泛化。
- 对RAM状态、视觉帧和动作后继分别评估世界模型漂移，并单独报告未解决的战斗任务。
这是一项规模小、工程边界清晰的个人研究：它证明了扩散世界模型与分层智能体可以在消费级GPU上组合成可玩的系统，但现阶段更接近有说服力的原型，而非经过严格同行评审的通用世界模型结论。
—— 完 ——消息来源：Reddit r/MachineLearning (2026-11-08)
主题标签： #扩散世界模型 #游戏智能体 #System 1/System 2 #模型预测控制 #宝可梦红
编辑部与事实核查说明：本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译，经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏，欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区