机器人视觉大飞跃!新模型助力 AI “看懂” 三维世界,成功率提升 31%
在机器人领域,让人工智能真正 “看懂” 三维世界一直是一个棘手的问题。传统的视觉语言模型(VLA)大多依赖机器于二维图像和文本数据训练,难以理解真实环境中的三维空间。然而,最近来自上海交通大学和剑桥大学的研究团队提人视出了一种名为 Evo-0的新型增强视觉语言动作模型,通过轻量化的方式注入3D 几何先验,使得机器人在复杂任务中的空觉大间理解能力得到了显著提升。 Evo-0模型的创新在于其利用视觉几何基础模型(VGGT),从多视角的 RGB 图像飞跃中提取出三维结构信息,并将这些信息与已有的视觉语言模型相结合。这种方法不仅避免了使用额外传感器或显式深!新度输入的需要,还显著提升了空间感知能力。在 RLBench 仿真实验中,Evo-0在五个需要精细操作的任务上,成模型功率比基线模型 pi0高出15%,并且在开放 VLA(openvla-oft)上提升了31%。 具体而言,Evo-0将助力 VGGT 作为空间编码器,引入了通过 VGGT 提取的 t3^D token,这些 token 包含了深度上下文和空间关系等几 A何信息。通过交叉注意力融合模块,模型能够将提取的二维视觉 token 与三维 token 进行有效结合,提升了I 对空间布局和物体关系的理解能力。这种方法在保证训练效率的同时,灵活性和部署便捷性也得到了提高。 在真实世“看界的实验中,Evo-0在处理复杂空间任务时表现出色,包括目标居中放置、插孔、密集抓取等任务,均超过了基线模型懂”,平均成功率提升了28.88%。特别是在对复杂空间关系的理解和操控能力方面,Evo-0展现出显著优势。 综上 三所述,Evo-0通过巧妙的空间信息融合,为未来的通用机器人策略提供了一条新的可行路径。该研究成果不仅在学术界引发维世了广泛关注,也为机器人领域的实际应用带来了新的可能性。 论文地址:https://arxiv.org/p界,df/2507.00416
- 最近发表
- 随机阅读
-
- Google 发布 Deep Research 智能体:深层调研进入“自动驾驶”时代
- 消息称黄仁勋重组英伟达云团队:放弃死磕云巨头、专注卖“铲子”
- 标签: SensorTower AppMagic 移动应用情报 游戏数据分析
- 标签: 百度健康 DoctorClaw 医疗AI 医生助手
- 亚马逊宣布购买11架播音767飞机 加快交付速度
- 亚马逊收购印度电商Perpule:帮助海量“夫妻店”支持移动支付
- 吃不完的车厘子怎么保存
- 网络挑虾线什么梗
- 标签: 云英谷科技 OLED驱动芯片 AMOLED Micro-OLED
- 标签: 拼多多 新拼姆 千亿扶持 多多好特产
- 云计算开发:Python练习实例-元素交换输出数组
- 标签: iRobot 石头科技 大疆 科沃斯
- 云安全日报210918:IBM快速文件传输和流解决方案发现拒绝服务漏洞,需要尽快升级
- 绉佹湁浜戝�鏁版嵁瀛樺偍鐜��鐨勫ソ澶�
- Anthropic重磅升级:Claude Code企业版正式上线,命令行编程工具迎来变革时刻
- 蔚来救场腾讯云,“天使客户”蔚来能否给腾讯带来新生?
- 奥特曼头像什么梗
- 微软AI主管苏莱曼:微软不会开发情色类AI,与OpenAI划清界限
- 标签: 中集车辆 半挂车 GlobalTrailer 全球南方市场
- 标签: 星竞威武 红鲤文化 电竞+ 南宁市数字文体基金
- 搜索
-
- 友情链接