智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #3D建模 #计算机视觉 #多视角 #生成模型 #Hugging Face

WorldSculpt:基于视频生成复杂场景的3D组合世界模型

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 7 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:WorldSculpt 是一种新型3D场景生成方法,能够从多视角视频中生成包含数百个物体的复杂场景的组合3D表示。该方法通过扩展Pixal3D模型,引入多视角条件路径,使其能够基于多个视角生成物体网格,并成功应用于复杂场景中。该研究还推出了UE-MeshyScene基准数据集,用于评估密集场景中的物体生成性能。实验结果表明,WorldSculpt 在处理复杂场景和遮挡问题时表现优异,显著优于现有方法。


研究背景与挑战

在游戏、AR/VR、仿真和机器人等应用中,生成复杂场景的3D表示是一个关键挑战。传统基于几何的方法通常将场景重建为单一表示,导致遮挡区域的几何信息不完整。而现有的组合方法由于生成先验的限制,主要适用于相对简单的场景。

方法与创新

WorldSculpt 通过以下方式解决了上述问题:

  • 多视角条件路径:扩展Pixal3D模型,引入多视角条件路径,使其能够基于多个视角生成物体网格。
  • 单物体到复杂场景的泛化:模型仅在标准空间中的单物体上进行微调,但能够泛化到具有严重遮挡的大型场景,无需任何场景级训练。
  • UE-MeshyScene基准数据集:引入了一个包含数百个物体的密集场景基准数据集,并提供每个物体的注释和真实网格,用于评估模型性能。

实验结果

在单物体、受控多物体和UE-MeshyScene评估中,WorldSculpt 始终优于现有方法。随着场景复杂性和遮挡程度的增加,其优势更加明显。

应用与扩展

该方法不仅限于视频生成,还能够将生成的3DGS世界(如Marble和HY-World 2.0)转换为组合网格场景,展示了其广泛的适用性。

行业影响与开发者建议

  • 对开发者:该研究为3D场景生成提供了新的思路,尤其在处理复杂场景和遮挡问题时展示了强大的能力。开发者可以利用该方法提升AR/VR、游戏和机器人应用中的场景生成质量。
  • 对行业:该技术有望推动3D内容创作工具的进步,并促进AI在仿真和机器人领域的应用。
  • 未来方向:进一步优化模型以处理更大规模的场景,并探索其在动态场景生成中的应用潜力。

消息来源:Hugging Face Daily Papers (2026-09-04)

—— 完 ——

主题标签: #3D建模 #计算机视觉 #多视角 #生成模型 #Hugging Face

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…