谷歌研究院最新发现:训练结果不准确,超大数据规模要背锅!
目前AI领域 的一大趋势是什么?没错,就是扩大数据集规模。然而最近Geogle reserach 的一篇论文,却认为对超大规模数据集进行整理的趋势,反而会阻碍有效开发人工智能系统。 数据规模真的越大谷歌越好? 算力和数据是人工智能两大主要驱动力。无论是计算机视觉,还是自然语言处理等AI系统似乎都离不开数据集。 在超大规模数据时代,数据和学习结果是这样的关系: 数据规模越大,AI模型越精准、高效。在大部分人眼里研究,这似乎是个不争的事实。 数据规模和模型精确度难道真的是呈现正相关关系吗? 最近,Geogle Research 上发布的一篇论文,对这一普遍持有的观点,提出了质疑的呼声。 规模一大, “饱和”就无处不在! 这篇名为Expol院最ring the limits of pre-training model 挑战了机器学习效果和数据关系的既有假设。经过试验得出的结论是:无论是通过扩大数据规模还是超参数来改进上游性能,下游可能会出现“饱和”现象。 所新发谓饱和就是.....你懂的哈,就是没有梯度信号传入神经元,也无法到权重和数据,这样网络就很难以进行学习了。 为了证明饱和效应的观点,作者对视觉变形器、ResNets和MLP-混合器进行了4800次实验,每个实验都现:有不同数量的参数,从1000万到100亿,都在各自领域现有的最高容量数据集进行训练,包括ImageNet21K和谷歌自己的JFT-300M。 文中还提到了一种极端的情况,上游和下游的性能是互相矛盾的 ,也就是说:要想训练获得更好的下游性能,可能得牺牲掉上游任务的精确度。 这一假设一旦得到验证,就意味着 "超大规模 "数据集,如最近发布的LAION-400M(包含4亿个文本/图像对),以及GPT-3神经语言引擎背后的数据(包含1结果750亿个参数),有可能受限于传统机器学习的架构和方法。庞大的数据量可能会使得下游任务饱和,降低了其泛化的能力。 其实呢,之前的假设也不是完全在“胡言乱语”,只是要加上一个条件即:既定数据规模的超参数要在一个较不准为简单的线性函数关系中 , 且是一个固定的值。 考虑到有限的计算资源和经济成本等问题,先前的研究范围较小,让人们对数据集和有效AI系统间的关系产生了不全面的认知。原来以偏概全是通病! 事实上怎么可能有这么简单呢? 文确,章又反驳道“先前关于论证数据规模有效性的研究,仅是在有限的范围进行的。 因而不能妄下定论。“ 唱反调也得有依据!文章为什么会得出这样的结论呢?原来真相就在眼前! 上下游的关系不简单! 先前的研究是在线性函数的假设基超大础上,呈现出了对数关系。 然而经过研究发现,情况是这样的 从图中可以发现,下游任务在某些点,会发生饱和。但这些“饱和点”并不固定。因而文章推论,上下游之间的关系是非线性的。 数据、模型规模的扩大,倒是能提高上数据游性能。但是由于这种非线性关系的存在,提高上游的准确度的同时,下游准确度就不能够保证了。 预训练模型不能让人们”一劳永逸“! 本文讨论了 "预训练 "的做法,这种措施旨在节省计算资源,减少从零开始训练大规模数据所需的时规模间。 预训练可以明显提高模型的鲁棒性和准确性。但新的论文表明,即使在相对较短的预训练模板中,但是考虑到特征的复杂性,预训练模型不适合于所有情况。如果研究人员继续依赖预训练模型,可能影响到最终结果的准确性。 论文要背最后提到,”我们不能期望找到适用于所有下游任务的预训练模型。" 规模有多大,就有多准确? Geogle research 的研究结果对这一定论,勇敢说出了”不“,的确让人们眼前一亮!是否会对整个AI研究领域,带来突破性的锅!进展呢?也许会由此带动更多的相关研究,会不知不觉掀起另一波”浪潮“?咱们走着瞧!
- 最近发表
- 随机阅读
-
- 华为于杭州成立云计算技术新公司,注册资本1亿元
- 图样图森破Pyecharts之词云图
- 阿里云:云计算首次超越卫星,成为2024巴黎奥运会转播主要方式
- 标签: 卧安机器人 6600 财报
- 核桃仁做菜的菜谱
- 标签: 建设银行 科技贷款 绿色贷款 普惠贷款
- Docker Desktop 4.10 中的新扩展和改进的日志
- 标签: 英伟达 黄仁勋 AI数据中心 GPU
- 复合数据类型:字典 Map 和 结构体 Struct
- 标签: 江淮汽车 大众安徽 尊界 与众06
- 标签: 心动公司 火炬之光无限 心动小镇 TapTap
- 阿里开源新模型 Qwen3-Next-80B-A3B,性能和效率双提升!
- 标签: HopeSea Hope Sea 港交所 供应链解决方案 集成电路 半导体
- 标签: 蓝战非 熊猫直播 斗鱼直播 南非绑架
- Anthropic在纽约开设 “Zero Slop Zone”,抵制低质 AI 内容
- 标签: 欧菲光 智能手机摄像头 智能汽车视觉 机器视觉深度相机
- Twitter CEO:曾想离开科技行业,成为一名时装设计师
- 从实验到实施:人工智能如何证明其在金融服务中的价值
- 标签: 宁德时代 曾毓群 磷酸铁锂电池 锂电池出口
- 标签: 微软 纳德拉 动视暴雪 游戏业务
- 搜索
-
- 友情链接