性能最高提升 6.9 倍,字节跳动开源大模型训练框架 veGiantModel
背景 近些年,NLP 应用方面有所突破,Bert、GPT、GPT-3 等超大模型横扫各种 NLP 测试后,人们发现参数量越大的模型,在算法方面表现越好,于是纷纷开始迅速向大模型方向发展,模型体积爆炸式增长。而大模型训练给现有的训练系统带来的主要挑战为显存压力,计算压力和通信压力。 The性能 size of language model is growing at an exponential rate (来源:https://huggingface.co/blog/large-language-models) 火山引擎大模型训练框架 veGiantModel 针对这个需求,字节跳动 AML 团最高队内部开发了火山引擎大模型训练框架 veGiantModel。基于 PyTorch 框架,veGiantModel 是以 Megatron 和 DeepSpeed 为基础的高性能大模型训练框架。其特点包括: 同时支持数据并行、算子切分、流水线并行 3 种分布式并行策略,同时支持自动化和定制化的并行策略;基于提升 ByteCCL 高性能异步通讯库,训练任务吞吐相比其他开源框架有 1.2x-3.5x 的提升;提供了更友好、灵活的流水线支持,降低了模型开发迭代所需要的人力;可在 GPU上高效地支持数十亿至上千亿参数量的大模型;对带宽要求低,在私有化部署无 RDMA 强依赖。 其中,ByteCCL 为字节跳 6动自研的 BytePS 的升级版,针对 A100/V100 等各种机型拓扑做了分层规约优化,并支持了 allgather、alltoall 等更全面的通讯原语。 veGiantModel 性能表现硬件配置 为了展示 VeGiantModel 的性能,veGiantModel 团队使用了自建机房的物理机,分.9别在 A100 和 V100 机型上做了测试,实验配置分别如下: V100 测试:每个机器 8 张 Tesla V100 32G 型号 GPU,网络带宽 100GA100 测试:每个机器 8 张 Ampere A100 40G 型号 GPU,网络带宽 800G模型和对照组选择 veGiantModel 选择了 GPT-13B 模型进行评估 倍,seq length 是 256, global batch size 是 1536。GPT 为目前市面上最为流行的 transformer based 语言模型。性能对照组选择了开源社区最流行的 Megatron 和 DeepSpeed。 测试结果V100/TCP :100Gb/s TCP 网络带宽,4 机,每机 8 张 T,字esla V100 32G GPUV100/RDMA:100Gb/s RDMA 网络带宽,4 机,每机 8 张 Tesla V100 32G GPUA100/TCP:800Gb/s TCP 网络带宽,4 机,每机 8 张 Tesla A100 40G GPUA100/RDMA:800Gb/s RDMA 网络带宽,4 机,每机 8 张 Te节跳sla A100 40G GPU模型:GPT-13BMegatron:v2.4,tensor-model-parallel-size 设置为 4, pipeline-model-parallel-size 设置为 4DeepSpeed:v0.4.2,使用 DeepSpeedExamples 开源社区中默认动开的 zero3 的配置运行环境统计值:Throughtput (samples/s) 从上述数据可以看出: veGiantModel 性能更优:无论是在高带宽还是低带宽的场下,veGiantModel 在 V100 和 A100 上均胜出 Megatron 和 DeepSpeed,最高可达 6.9 倍提升。源大veGiantModel 对网络带宽要求低:veGiantModel 在带宽变化对吞吐的影响相对最小 (<10%),而 DeepSpeed(ZeRO) 是对带宽要求最高的,最高可达将近 5 倍的差距。原因解析 veGiantModel 为什么比 Megatron 和 DeepSpeed 更快?原因如下模型: ByteCCL (BytePS) 高性能异步通讯库。支持定制化的并行策略,可以将性能优化推到极致。在支持数据并行、算子切分、流水线并行 3 种分布式并行策略时,veGiantModel 会综合考虑到跨机的带宽,自动调整 toplogy 的 placement。传送门 veGiantModel训练 现已在 GitHub 上开源,地址如下: https://github.com/volcengine/veGiantModel GitHub 上详细介绍了如何使用 veGiantModel 以及如何使用 veGiantModel 快速跑起一个 GPT 的预训练。火山引擎机器学习平台原生支持了 veG框架iantModel,目前平台正在公测中,欢迎大家试用:https://www.volcengine.com/product/ml-platform
- 最近发表
- 随机阅读
-
- Meta AI部门大裁员600人:重塑架构,提升效率,扎克伯格力挺新战略
- 标签: 英飞凌 AI数据中心 电源解决方案 财报
- 水灵灵的好女人是什么梗
- 标签: 它石智航 具身智能 Pre-A轮融资 高瓴创投
- 标签: 联想 ISG CTO AI
- 特斯拉CEO马斯克:将离开Twitter一段时间
- 扎克伯格再抨苹果隐私政策 并称其已成Facebook最大竞争对手之一
- 阿里云发布超强AI大模型Qwen3-Max,性能傲视群雄!
- 标签: 壹达外卖 眼护士 掌上药店 药安食美
- 标签: MiniMax Music 2.5 稀宇科技 AI音乐
- 标签: 豆包 DeepSeek 元宝 千问
- Meta收集员工日常行为数据用于训练大模型 隐私边界再受挑战
- 标签: 软银集团 OpenAI 愿景基金 滴滴出行
- 标签: 掌阅科技 iDrama 短剧 数字阅读
- 标签: 豆包 微信 努比亚M153 字节跳动
- 机器学习基础图表:概念、原理、历史、趋势和算法
- 微软与OpenAI重塑联盟:2500亿美元Azure订单背后,OpenAI获“云自由”!
- OpenAI 与立讯精密达成协议,后者将负责组装至少一款OpenAI的新设备
- 标签: 粤十数智 冷链农产品 数智化平台 港股IPO
- 标签: 华境汽车
- 搜索
-
- 友情链接