智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #Game2World #UI移除 #世界模型 #视频处理 #数据增强

Game2World Engine发布:革新游戏视频数据处理,赋能世界模型训练

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 7 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Game2World Engine是一款用于处理游戏视频数据的新框架,旨在解决游戏视频中UI元素对世界模型训练的干扰问题。该框架通过GameUI-Taxonomy和G2WEngine技术,自动提取并移除游戏UI元素,生成高质量的无UI视频数据。实验结果表明,基于无UI视频训练的世界模型在VideoReward指标上提升了6.83%。此外,配套的GameCleaner模型在UI移除任务中表现优异,在合成视频上的平均AAR达到95.36%,在真实场景中达到80.05%,显著优于现有方法。


核心突破

  • UI元素处理技术:Game2World Engine引入了GameUI-Taxonomy和G2WEngine技术,能够自动识别并移除游戏视频中的UI元素,同时保持场景内容的完整性和时间一致性。
  • 高质量数据集构建:基于该引擎构建的Game2World数据集包含96K对合成视频和1,079个真实场景视频,涵盖了303款游戏,为世界模型训练提供了丰富且高质量的数据资源。
  • 创新模型GameCleaner:该模型采用无掩码方法,通过多模态语义理解和视频编辑技术,直接识别并移除HUD元素,显著提升了UI移除的准确性和效率。

技术亮点

  • UI元素库:Game2World的UI元素库包含5,132个经过验证的UI元素,涵盖21个分类类别,收集自1,010个代表性游戏画面。
  • 性能提升:在UI移除任务中,GameCleaner在合成视频上的平均AAR达到95.36%,在真实场景中达到80.05%,相较于最强的时间掩码基线方法提升了57.3%。
  • 训练效果:基于无UI视频训练的世界模型在VideoReward指标上提升了6.83%,展示了UI移除对模型性能的显著影响。

行业影响

  • 数据质量提升:该框架为游戏视频数据处理提供了新的解决方案,有助于提升世界模型训练的数据质量,推动AI在虚拟环境模拟和智能体训练中的应用。
  • 开发者支持:Game2World Engine的开源特性(代码、数据集和模型即将在GitHub上发布)将为开发者提供强大的工具支持,促进相关领域的研究和应用。
  • 跨领域应用:该技术不仅适用于游戏视频处理,还可扩展到其他需要处理复杂UI元素的视频数据场景,如虚拟现实、增强现实等领域。

开发者建议

  • 关注开源资源:建议开发者密切关注即将发布的GitHub资源,以便快速上手并利用该框架进行相关研究或应用开发。
  • 探索多模态应用:结合多模态学习技术,探索UI移除技术在多模态数据处理中的应用潜力。
  • 优化模型性能:在应用该框架时,可根据具体需求对模型进行微调,以进一步提升UI移除的准确性和效率。

消息来源:Hugging Face Daily Papers (2026-08-25)

—— 完 ——

主题标签: #Game2World #UI移除 #世界模型 #视频处理 #数据增强

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…