25分钟训练机器人学会6个动作,伯克利开发高效机器人操纵框架
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 这个机械臂正在完成够、拿、移、推、点、开等6个动作。 而且动作娴熟,还不存在失误。 更令人意外的是,训25练这个机械臂,只花了短短25分钟。 即使有人为干扰,它也能够成功完成抓取动作。 还能抓起以前没有见过的物体形状。 这就是来自加州大学伯克利分校的一项新研究——高效机器操作框架Framewo分钟rk for Efficient Robotic Manipulation(FERM),专门对机械臂进行高效率操作的算法训练。 FERM为什么比其他方法效率高? 目前来看,大多数针对机器人训练训练的的RL算法效率都不是很好。 采用稀疏奖励的方法训练Dota5游戏的人机操作,使之成为达到人类玩家的高手水平,需要花180年的游戏时间。 训练一个机械臂的手势,则需要上千万的模拟学习的样本机器和两周的训练时间。 Sim2Real和模拟学习这两个方法稍微好点。Sim2Real需要接受模拟训练,再将训练结果运用到现实事例中。 模拟学习则需要通过一系列的专业训练示范案例和监督学人学习,才能得出最后的训练策略,实验结果非常依赖于输入示范案例的质量。 FERM优势在于,既没有依靠模拟训练转换到现实,也不用高度依赖于输入的示范案例的质量。 而是基于非监督性表征学会6习和数据扩张技术,使用了pixel-based RL。 因此,它仅仅需要10个Demo,25分钟的训练时间,就可以让机器人学会六个动作。 FERM具体怎么训练? FERM采用了基于像个动素的强化学习(pixel-based RL)方法。 具体而言,先收集小部分演示数据,并且将这些数据存放在“回放缓冲区”上。 然后,用观察结果结合对比损失量,来对编码器进行预训练。 而后,作,编码器和“回放缓冲区”运用一种线下的数据来加强RL算法,对RL智能体进行训练。 在论文中,研究人员总结了FERM主要优点: 1、高效率:FERM可以学习6种不同操作任务的最优策略伯克,在15-50分钟的训练时间内完成每项任务。 2、简单统一的框架:框架结合现有的组成部分,将无监督的预训练和在线RL与数据扩充成一个单一高效的框架。 3、常规轻量设置:实施起来只需要一个机利开器人、一个GPU、两个摄像头、几个演示,以及稀疏奖励函数等等。 具体的实验结果如何? 实验结果 这项实验采用像素观察的方法执行了一系列任务。下图的每一栏显示了初始、中间、结果等三个状态发高。只有当机器人完成任务时,才会获得稀疏奖励。 这个训练算法的效率可谓很高了。具体完成时间如下图表格所示,在30分钟左右,它就可以让机器人学习操作任务。而简单的“够”(Reach)效机动作,则只需要三分钟。 实验结果称,它不需要很多的Demo,也不需要到大量的设备,首次完成任务的平均时间为11分钟,并且可以在25分钟内训练出6个机械动作。 所以研究人员骄傲地说: “据我们器人所知,FERM是第一个能在不到一小时的时间内,能通过像素点直接完成来自不同组、采用稀疏奖励方法的机器操作任务。” 而根据相关报告,未来十年,制造业将需要460万个岗位。许多制造商也都在转操纵向自动化生产,机械自动化将占比越来越高。FERM这样的高效训练框架,可谓是制造业福音。
- 最近发表
- 随机阅读
-
- 亚马逊10月28日发布三季度财报 云计算营收有望超过160亿美元
- 标签: 绿联科技 A+H上市 港交所 充电创意产品
- Twitter绗�簩瀛e害涓氱哗瓒呴�鏈� 鐩樺悗鑲′环娑ㄨ秴6%
- 3人买同趟航班得到不同价格疑似大数据杀熟,飞猪回应
- 标签: 豆包 千问 文心一言 元宝
- 人工智能项目失败将不再归咎于人才缺口
- 肠粉怎么炒才好吃
- 云安全日报210908:IBM智慧城市运营解决方案发现执行任意代码漏洞,需要尽快升级
- 人工智能来袭,独居老人养老不再难,养老进入科技时代
- 标签: 迪士尼 威廉姆斯 苹果 董事会
- 标签: 鸿仕达 苹果产业链 智能制造装备 北交所
- AI 训练初创公司 Mercor 欲争取超 100 亿美元估值
- 美股开盘新能源车板块普跌 苹果涨3.8%
- 云安全日报210208:Apache SkyWalking性能监控系统发现SQL注入漏洞,需要尽快升级
- 标签: 海大国际 港交所上市 饲料业务 水产料
- 标签: 苹果 詹南德里亚 苏布拉马尼亚 人工智能
- IDC:2024年中国视频会议市场规模将超100亿
- 彭斯克集团起诉 Google,指控 AI 摘要侵权并威胁数字媒体未来
- 标签: 智界汽车 郭锐 华为 荣耀
- 从代码到资源,王坚:AI的“开放”之路,远不止于开源
- 搜索
-
- 友情链接