北大研究人员这次发现了AI「躺平」原因,都是数据集的错
在训练人工「智障」的时候,AI最后经常会学到一些莫名其妙的方式来完成人类的的任务。 有一些AI就会去学习如何通过「卡bug」来快速通关。 还有一些AI学北大会了「只要把游戏暂停了,我就不会输」这个终极哲学。 AI也想「躺平」 为了让模型能够提高准确性,通常会设置相应的奖励,但有时候模型在前期就发现了能够获得奖励研究的「捷径」。 但凡AI尝到了甜头,它就会一直选择去走这个「捷径」,不再去学习更困难的知识或者方法。 来自北京大学的研究人员在训练语言模型的时候就发现:AI虽然能人员回答正确,但是它搞不明白为什么答案是对的,只知道遇到某类问题用这个回答就可以了。 于是,研究人员决定要把AI「扶起来」,让它们「努力学习」不能偷懒。 论文地这次址: 这篇论文已经发表在arxiv上,作者是来自北京大学王选计算机研究所和北京发现大学计算语言学教育部重点实验室的Yuxuan Lai, Chen Zhang, Yansong Feng , Quzhe Huang,和Dongyan Zhao(赵东岩了A) 为什么AI总想去「躺平」? 尽管有些研究已经发现了AI总爱「躺平」的现象,但是他们并没有发现这个现象和数据集中的「捷径」问题有关。 为此,论文提出了一个经过标I「注的全新数据集,其中包括对一个问题的「捷径版」和「挑战版」两种回答。 数据集使用「释义」( paraphrasing )作为更复杂和更深入答案的标准,因为想躺平要表达出学到的知识,语义理解是必要的。相比之下,「捷径」的答案是有如日期或其他关键字生成的,但没有任何上下文或推理。 研究人员发现,训练集中「捷径版」样」原本越高,就越会阻碍模型学到「释义」从而去解决具有挑战性的问题。而模型在回答「捷径版」问题时的表现则基本稳定。 文章表明,当训练集中有足够多的「挑战版」因,问题时,模型不仅能更好地理解「挑战版」问题,而且也能正确回答「捷径版」问题。 AI是如何学会「躺平」的? 文章表示,在训练的早期阶段,模型往往会找到最简单的方法达都是到梯度下降从而拟合训练数据。而且由于「捷径」需要较少的计算资源来学习,因此拟合这些技巧会变成一个优先事项。 之后,由于模型学会的「捷径」可用于正确回答大部数据分训练问题,因此剩余的问题便无法激励模型继续去探索「挑战版」问题需要的复杂解决方法。 有没有办法把AI「扶起来」? 除了NLP架构本身的问题外,也很可能是训练过集的程中标准优化和资源保护的结果,以及让模型在短时间内以有限的资源去获得结果的压力。 如文章所说的那样,数据预处理领域可能需要考虑将数据中的「捷径」视为一个亟北大待解决的问题,或者是修改 NLP 架构从而达到优先考虑更具挑战性的数据的效果。
https://arxiv.org/pdf/2106.01024.pdf
- 最近发表
- 随机阅读
-
- 水晶泥怎么玩
- 亚马逊云计划在韩国追加 50 亿美元投资,推动 AI 数据中心建设
- 微软前董事长:CEO纳德拉赢得了成为董事长的权利
- 云安全日报210412:Debian Web应用程序发现目录遍历漏洞,需要尽快升级
- 标签: 米哈游 芒果TV 可可豆动画 奥飞娱乐
- 外媒:美国国防部正考虑终止与微软的百亿美元云计算合同
- 标签: 长虹美菱 空调 冰箱 洗衣机
- 苹果加速布局人工智能:传闻将收购两大 AI 初创公司!
- 亚马逊优质店铺遭疯狂收购 1年内收购价高达35亿美元!
- 字节跳动发布新一代3D生成大模型Seed3D 2.0,技术精度与真实感实现跨越式提升
- AI有声剧革命爆发!豆包推全自动多人配音系统,98%角色识别准确率,媲美专业广播剧
- 未来已来!Lyft将于2027年推出数百辆智能机器人出租车
- 标签: 欣旺达 威睿 吉利 电芯
- 标签: 神威药业 注射液 软胶囊 中药配方颗粒
- 标签: FF 贾跃亭 SEC FF91
- 标签: 豆包 抖音集团 鸡腿菇 大青褶伞
- 标签: 豆包 字节跳动 Force大会 AI PPT
- Hailuo2.3AI视频生成模型上线Replicate平台,带来逼真物理与电影级特效
- 标签: 死了么 Demumu BBC
- 标签: Mistral AI 亚瑟·门施 达沃斯论坛 阿斯麦
- 搜索
-
- 友情链接