512张GPU炼出10万亿参数巨模型!这个模型今年双十一已经用上了
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 100000亿! (没错,是10万亿) 而且还是用512张GPU,训练了10天搞出来的! 这就是达摩院最新推出的超大规模通用51性人工智能大模型,M6-10T。 它在电商、制造业、文学艺术、科学研究等领域都有着多模态、多任务的能力,在各自现实场景的下游任务中也频频出现。 而且还能做到即开即用,你今年的双十一背后就有M6-10T的身影。 少量资源快速训练大模型 不2张过剁手节的事可以先放一边,问题关键是:M6-10T到底是怎么使用少量资源完成对极限规模模型的训练的? 要知道,之前微软的DeepSpeed MoE模型,也是使用了512张A100才完成了3.5万亿参数的训练。 而自家在5个月前GP推出的万亿级参数的M6,则是用480块GPU训练的。 所以,512张GPU怎么就放下了10万亿参数? 这就要提到达摩院自研的分布式框架Whale。 基于这一框架,M6模型可以使用粒度可控的CPU offload方法,灵活地选择ofU炼fload的模型层。 也就是说,可以不用将所有的权重offload到CPU memory中,而选择保留部分权重在GPU memory上进行计算,以进一步地提高GPU利用率。 放下了参数,下一步就是提高训练效率。 M6-10T模型采出1用了一种叫做共享解除(Pseudo-to-Real)的新的训练策略: 这一策略分为两个阶段。 第一阶段,利用跨层参数共享机制快速构建并训练小模型Pseudo Giant。 参数少得多的Pseudo Giant不受内存的限制,因此可以0万用大批量训练来加速。 再配合上专家拆分和合并的机制,最终只需要使用256张GPU即可快速训练一个Pseudo Giant。 第二阶段则解除共享参数的联系,得到新的Real Giant模型。 “共享”阶段训练好的模型层的参数会为Real亿参 Giant的每一层提供初始化,大模型即可在训练好的小模型的基础上继续优化。 在下游评估中可以看到,从头开始训练Real Giant模型非常耗时,而Pseudo Giant训练的收敛速度比Real Giant训练有5倍左右的优势: △在数巨48个NVIDIA V100 GPU设备上训练 这一机制不仅能够使M6-10T在样本量的维度上具有更快的收敛速度,也能将模型的训练速度提升7倍以上。 而相对于之前的M6-MoE和M6-T,采用了新的训练策略的M60-10T迷惑度(p模型erplexity)更低,模型更优越: 可以说,之前使用480GPU的万亿参数模型M6,如果采用现在的方法,那就只需要64张GPU就能完成训练。 双十一背后的模型 而除了算法层面的价值,M6-10T一经推出就能够投入使用。 比如说即将!这来临的双十一中,你或许就能发现这些AI设计款的衣服上架。 △基于M6设计生成的服装款式 这就是大模型带来的创造力。 在结合了StyleGAN后,M6能够在少样本情况下自动生成图像,且保持良好的细节质量和可编辑性。 而且与传统的设计款式图个模不同,M6生成的还是更接近实物的照片效果。 在手机淘宝和支付宝中,也会有基于M6智能生成的内容文案: 同时,大模型的多模态特征提取能力,也能进行商品属性标签补充,用于进行认知召回。 可以说,阿里巴巴内部超过40个业务团队背后,都有型今着基于个版本的M6模型形成的服务化平台的支撑。 而除了电商领域,还有金融、工业、传统科学等诸多应用方向。 现在,M6服务化平台以及成为了前业界覆盖最广泛的大模型生态的服务化平台。 那么未来是继续追求更大量级的模型,进行参数规模的迭代年双吗? 阿里达摩院M6的科研团队表示: 伴随着参数规模的扩大,当前的预训练模型在语言模型建模之类的任务上取得了不错的进展, 因此,如何将大模型有效迁移到多种类型的下游任务上,让大模型真正地理解并运用知识,这将十一是研究人员会进一步探索的问题。 论文:
但对知识的理解还比较浅薄。
https://arxiv.org/abs/2110.03888
- 最近发表
-
- Liquid AI 推出 LFM2-VL:低延迟的超高效视觉语言模型
- 标签: OpenClaw 黄仁勋 大模型公司
- 欧洲 AI 新星 Nexos.ai 获 3000 万欧元融资,助力企业安全拥抱 AI
- 斥资100亿美元,亚马逊宣布在美国密苏里州建设数据中心园区
- 标签: 海菲曼 HIFIMAN 电声器件 专精特新
- 苹果官网“价格乌龙”事件发酵,有律师计划起诉维权
- 云安全日报210914:红帽Jboss中间件平台发现重要安全漏洞,需要尽快升级
- 外媒:亚马逊AWS存储业务今年营收将超过80亿美元 有望达到100亿美元
- 云计算开发实例:Python3将字符串作为代码执行
- 标签: SENASIC琻捷 港股上市 车规芯片 PhysicalAI
- 随机阅读
-
- 云计算开发:Python3数学函数min()方法详解
- 意大利准备拨款40亿欧元支持芯片产业 利好英特尔
- 标签: Gemini 3 Google 深度思考模式 Antigravity
- 标签: 长安汽车 赵非 智能辅助驾驶 安全是最大的豪华
- 标签: 一嗨租车
- 标签: 充电桩
- 标签: 禾赛科技 激光雷达 ADAS 理想汽车
- 水灵灵的好女人是什么梗
- 标签: 小鹏汽车 飞行汽车 小鹏汇天 IPO
- 标签: 毫末智行 Momenta 蔡娜 HPilot
- 标签: 东风日产 天籁鸿蒙座舱 王骞 广汽丰田
- 蔬菜农药残留怎么清洗
- 鑻规灉绗�笁璐㈠�澶т腑鍗庡尯钀ユ敹147.62浜跨編鍏� 鍚屾瘮澧炲箙杈�58%
- 标签: 大疆 智能派 ELEGOO 3D打印
- 标签: 王侠 中国汽车重庆论坛 价格战 新能源车
- 京东云交出11.11答卷:每秒用户访问峰值同比提升124%
- 云计算核心技术Docker教程:docker-compose添加网络
- 标签: 智能门锁
- 中国AI内容监管重磅出击:9月1日新规正式落地,DeepSeek腾讯字节全面响应打标令
- 首发:量子算力正式“拥抱”AI,国产超导量子计算机“本源悟空”实现重大跨越
- 搜索
-
- 友情链接