腾讯开源具备原生3D重建能力的超长程世界模型:HunyuanWorld-Voyager
近日,腾讯正式发布了HunyuanWorld-Voyager,这是一种创新的视频扩散框架,旨在通过单张输入图像生成具备世界一致性的3D 点云,支持用户按自定义的腾讯相机路径进行沉浸式探索。 官方表示,这全球首个具备原生3D 重建功能的超远距离世界模型,重新定义 AI 驱动的 VR、游戏和仿真空间智能。此模型不仅能够生成精确对齐的深度信开源息和 RGB 视频,还能够在不进行后处理的情况下,直接用于高质量的三维重建。 直接3D 输出:无需 COLMAP 等工具即可将点云视频导出为3D 格式,实现即时3D 应用。 创新具备的3D 内存:引入可扩展的世界缓存机制,确保任何摄像机轨迹的几何一致性。 顶级性能:在斯坦福 WorldScore 测试中排名第一,在视频生成和3D 重建基准测试中表现出色 Hu原生nyuanWorld-Voyager的架构包含两个关键组件。首先是 “世界一致的视频扩散”,该组件提出了一种统一的架构,可以基于已有的世界观测,同时生成准确对齐的 RG3DB 视频和深度视频序列,从而确保全局场景的一致性。其次是 “长距离世界探索”,它采用了一种高效的世界缓存机制,结合点云剔除和自回归推理能力,支持迭代场景扩展,并通过重建上下文感知的一致性技术实现平滑的视频采样。 为了训练 HunyuanWorld-Voyager 模型,研究团队构建了一套可扩展的数据构建引擎。这一自动化视频重建流水能力线能够对任意输入视频自动估计相机位姿和度量深度,因此无需依赖人工标注,从而实现大规模、多样化训练数据的构建。基于此流水线,HunyuanWorld-Voyage的超r 整合了真实世界采集和虚幻引擎渲染的视频资源,构建了一个包含超过10万个视频片段的大规模数据集。 在实验评估中,HunyuanWorld-Voyager 在视频生成质量长程方面表现出色。与四种开源的相机可控视频生成方法进行了对比,结果显示该模型在 PSNR、SSIM 和 LPIPS 等指标上均优于其他模型,证明了其卓越的视频生成质量。同时,世界在场景重建方面,HunyuanWorld-Voyager 的生成视频在几何一致性上也显现出更好的效果。 此外,HunyuanWorld-Voyager 在 WorldSco模型re 静态基准测试中获得了最高分,证明了其在相机运动控制和空间一致性方面的优越性。这一成果不仅展示了混元世界模型的潜力,还为未来的3D 场景生成技术开辟了新路径。 划:H重点: HunyuanWorld-Voyager 能够基于单张输入图像生成具有世界一致性的3D 点云,支持用户沉浸式探索。 该模型同时生成精确对齐的un深度信息和 RGB 视频,适用于高质量三维重建。 在多个测试中,HunyuanWorld-Voyager 在视频生成质量和场景重建效果上均优于其yu他模型。
- 最近发表
- 随机阅读
-
- 标签: 柳玲玲 网盘治理 浏览器监管 青少年保护
- 一文了解大数据下 Redis 的应用
- 标签: 比亚迪海豹08 优必选 周剑 绿源电动车
- 苹果第一财季iPhone销售额656亿美元 同比增长17.2%
- 源码开放:基于Pyecharts可视化分析苏州旅游攻略
- 云计算工作负载的高级保护
- 谷歌大脑新研究:强化学习如何学会用声音来观察?
- Facebook:正在评估反垄断诉讼
- 告别繁琐代码!用 LangGraph 和 OceanBase 打造智能 AI 应用新未来
- ElevenLabs 推出 Studio 3.0,一站搞定AI语音、配乐、音效等
- 标签: 苹果折叠屏 iPhone18Pro 红果短剧 AI短剧
- 标签: 爱奇艺 银河综艺馆
- 标签: iPhone 安卓 Apple picking 伦敦
- 标签: 乔路铭科技 比亚迪 吉利 汽车饰件
- 云计算核心技术Docker教程:Docker 容器更改/etc/hosts文件
- 通义实验室推出新一代智能体开发框架AgentScope 1.0
- 2021年将利用人工智能提高工业生产率
- 展锐发布Cat.1bis新技术特性,拓展更广泛物联网应用场景
- 标签: 萝卜快跑 武汉自动驾驶 系统故障 高架拥堵
- 标签: 上汽
- 搜索
-
- 友情链接