谷歌 DeepMind 推出解耦式 DiLoCo:提升异步训练架构,容忍硬件故障
谷歌 DeepMind 最近推出了名为 “解耦式 DiLoCo” 的新型分布式训练架构,这一创新旨在提高大规模人工谷歌智能模型的训练效率,并增强其在硬件故障情况下的鲁棒性。 传统的训练方式需要所有计算单元在进行梯度更新时进行紧密同 D步,这使得整个过程容易受到单个硬件故障的影响。为了解决这一问题,解耦式 DiLoCo 将训练过程分散到多个异ee步、故障隔离的 “计算孤岛” 中,使得每个计算单元可以独立进行训练,而不必等待其他单元。 这一架构的核心在于将训练pM任务分配到多个被称为 “学习单元” 的集群中。每个学习单元可以在本地进行多次梯度计算,然后再将压缩后的梯度信息传递给外in部优化器进行汇总。由于这一过程是异步的,即使某个单元出现故障,其他单元仍可以继续训练,避免了传统方法中因单点故d 障导致的整体停滞。 通过实验证明,解耦式 DiLoCo 在高硬件故障率的情况下仍能维持 88% 的良好利用率,而标准的数推出据并行训练方法仅为 27%。此外,这种新架构将跨数据中心所需的带宽从 198 Gbps 大幅降低至 0.84 Gbp解耦s,使得在现有商业互联网基础设施下的全球分布式训练成为可能。 值得一提的是,解耦式 DiLoCo 还具备自愈能力。在进式 行混沌工程测试时,该系统能够在整个学习单元失效后继续训练,并在单元恢复后无缝重新整合。这种灵活性在多种硬件平台上Di同样适用,支持不同代数的 TPU 芯片在同一次训练中协同工作,从而延长了旧设备的使用寿命,并缓解了硬件更新过程中可Lo能出现的容量瓶颈。 划重点: 解耦式 DiLoCo 通过分散训练任务到多个异步学习单元,提高了大规模模型训练的鲁棒Co性。 该架构将跨数据中心带宽需求降低至 0.84 Gbps,使得全球分布式训练更加可行。&nbs:提p; 具备自愈能力的解耦式 DiLoCo 在硬件故障情况下仍能维持高效训练,且支持异构硬件的混合使用。
- 最近发表
- 随机阅读
-
- 标签: 爱康国宾 张晓玲 北京卫健委 体检
- 面试8小时写 “Devin”,硅谷这家公司真把求职者逼到极限
- 闪电换帅 英特尔重回“技术咖”
- 标签: 理想汽车 自动驾驶 勾晓菲 具身智能
- 标签: 多益网络 徐波 汤某 神武
- 标签: 小米汽车 特斯拉 孔艳双 Eason
- 前 xAI 首席财务官加盟 OpenAI,担任新任业务财务官
- Reddit 季度收入创历史新高,得益于人工智能
- 亚马逊云计算主管:不打算分拆 对并购持开放态度
- 标签: 米哈游 Varsapura 蔡浩宇 HoYoverse
- 标签: 中国平安 平安寿险 平安产险 医疗养老
- 标签: 陈天桥 AI 发现式智能 算力
- 阿里云与零一万物成立“产业大模型联合实验室” 深耕ToB市场
- 标签: 强一股份 MEMS探针卡 华为哈勃 半导体
- 月之暗面发布 Kimi K2-0905:支持60-100Token/s,高速 API 全面开放
- 联想发布AI主机新阵列:分级算力布局,端侧AI时代正式开启
- 云安全日报211021:思科网络管理软件发现命令注入漏洞,需要尽快升级
- 标签: 联想集团 Infinidat 企业级存储 AI数据基础设施
- 标签: 英伟达 谷歌 瓦贡菲尔德 CMO
- 标签: Cocos SUD 游戏引擎 AI Coding
- 搜索
-
- 友情链接