从视频片段中推断楼层平面图 新AI研究令人大开眼界
平面布置图对于可视化空间、规划路线和沟通建筑设计非常有用。例如,一个进入新建筑的机器人可以使用从视平面图快速感知总体布局。创建平面图通常需要一个完整的布局,这样3D传感器和摄像机就可以捕捉到整个空间频片。 1月11日消息,据外媒报道,近日,来自Facebook、德克萨斯大学奥斯汀分校和卡内基梅隆大学的研究段中人员正在探索一种人工智能技术,利用视觉和音频,从一个短视频剪辑中重建一个平面图。 研究人员断言,音频提供了推断空间和语义信号,补充了图像的映射能力。他们说,这是因为声音天生是由物体的几何形状所驱动的。声音从楼层表面反射回来,揭示了房间的形状,远远超出了相机的视野。从远处听到的声音,甚至是多个房间之外的声音,可以揭平面示自由空间的存在,声音物体可能存在。此外,从不同方向听到的声音暴露了基于这些声音所代表的活动或事物的布局图 。例如,淋浴的声音可能暗示着浴室的方向,而微波炉的声音则暗示着厨房的方向。 研究人员的方法被称为AV-新AMap,旨在将带有多通道音频的短视频转换成2D楼层平面图。机器学习模型利用音频和视觉数据序列来推理楼I研层平面图的结构和语义,最终使用解码组件融合音频和视频信息。AV-Map生成的平面图大大超出了视究令频中直接可见的区域,显示了划分为离散语义房间标签(如家庭房间和厨房)的自由空间和被占用区域。 该团队人大在来自Matternet3D和SoundSpaces数据集的数字环境中试验了两种设置,即主动和被动。在第开眼一个实验中,使用一个虚拟摄像机在模型房屋的房间内移动时发出一种已知的声音。在第二种情况下,只依赖家中物体从视或人自然发出的声音。 研究人员表示,在未来的工作中,将计划考虑扩展多层平面图,并将绘图想法与机器人频片连接起来,主动控制摄像头。
- 最近发表
-
- 嵌入式视觉:如果可以使用边缘,为什么要将其带入云端?
- 联想发布百应智能体2.0!国内首个L3级AI服务正式登陆,中小企业数字化转型迎来超级助手
- 标签: 长安启源A07 IACC 瑞金交通事故 智能驾驶辅助
- 云安全日报210603:Ubuntu Linux内核发现执行任意代码和拒绝服务漏洞,需要尽快升级
- 图书馆借阅应用强推AI功能引众怒!读者和图书管理员集体抵制
- 美团推出开源大模型LongCat:旨在赋能开发者,加速AI应用落地
- 放不下想又怕原唱歌曲
- 谷歌公布“太阳捕手计划”:利用 TPUs 卫星,在太空打造 AI 超级计算网络
- 马斯克预言未来:AI 将取代手机与应用程序!
- 标签: 三星电子 SK海力士 阿里巴巴 腾讯控股
- 随机阅读
-
- 阿里云宣布Qwen2开源 性能超美国开源模型Llama3
- 阶跃发布端到端语音大模型Step-Audio 2 mini
- 云计算开发:Python练习实例-将一个正整数分解质因数
- 标签: 零食
- 标签: 曹操出行 吉利控股 AI战略 首席AI官
- 阿里云张勇:已有20万企业用户申请接入通义千问AI大模型测试
- 标签: 微软 XBOX 阿莎·夏尔马 AI投资
- 标签: 爱占星 游陕西 华西健康 盐言故事
- 手镯取不下来怎么办
- 标签: 鸿蒙 华为 余承东 生态
- 云计算核心技术Docker教程:Docker Hub使用链接的私有子模块构建存储库
- AI全副武装!企业微信5.0引入智能搜索与总结,告别繁琐工作流
- 谷歌Chrome浏览器迎来AI革命,Gemini 让你的上网体验更智能
- 云计算核心技术Docker教程:Java镜像使用标签
- 三星新款AI智能眼镜实拍图曝光,搭载Android XR和Gemini
- 标签: 米哈游 原神 反舞弊 供应商黑名单
- 美图秀秀即将发布全新 AI 智能助手
- 大数据时代 移动云如何深挖数据价值 释放数据生产力?
- 标签: 菜鸟 淘天集团 阿里中国电商事业群 物流科技
- 用Transformer定义所有ML模型,特斯拉AI总监Karpathy发推感叹AI融合趋势
- 搜索
-
- 友情链接