OpenAI 将 k8s 扩展至 7500 个节点以支持机器学习
为了满足 GPT-3、CLIP 和 DALL+ 等大型模型的需要,以及类似于神经语言模型的缩放定Op律的快速小规模迭代研究,OpenAI 将基础设施 k8s 集群扩展到 7500 各节点。 据其描述,对于大型机en器学习作业来说,一个节点通常由单个 pod 占据,并且 OpenAI 部署的集群具有二等分带宽,因AI此尽管其有许多节点,但是调度程序的压力相对较低,仅在一项新任务一次性创建数百个 pod 时会有调度 将压力。 除此之外,OpenAI 还详细说明了其在扩展 k8s 集群时的重要工作内容,比如通过改用基于别名 k的 IP 寻址来解决大量节点的联网问题,在专用节点上部署 etcd 和 API 服务器以分散负载,定位8s使用 Prometheus 和 Grafana 收集指标时的 OOM 问题,设计对集群的健康检查,以及在团队中 扩合理分配集群资源等。 不过,OpenAI 也指出,在扩展 k8s 集群时,目前仍有一些问题要解决,比展至如大规模时 Prometheus 的内置 TSDB 存储引擎压缩速度过慢,并且需要很长的时间才能重新启 7动 WAL(写入预录),以及扩展集群时,由于每个 pod 都会被计算为需要一定带宽而带来的网络带宽50压力。然而,尽管还有很多地方需要改进,但 k8s 凭借其出色的扩展能力,仍然能满足其研究需求。 本文转自0 OSCHINA 本文标题:OpenAI 将 k8s 扩展至 7500 个节点以支持机器学习 本文地址:个节https://www.oschina.net/news/127949/openai-scale-点以k8s-7500
- 最近发表
-
- Facebook在越南农村探索新模式:用聊天和视频推动社交电商
- 人工智能和物联网――5个新兴的应用案例
- 英国前首相苏纳克获两大科技巨头聘任:将任微软与 Anthropic 高级顾问
- 云安全日报201215:IBM混合多云管理方案发现执行任意命令高危漏洞,需要尽快升级
- OpenAI官宣IPO路线图!奥特曼:1.4万亿美元基建投入,每周新增1吉瓦算力,AI巨头冲刺上市
- 标签: CCC认证 充电宝 市场监管总局 电动自行车
- 浜戞�闈�細浠嶥IY鍒癝aaS鐨勫叚涓�敞鎰忎簨椤�
- 训练Rainbow需要1425个GPU Day?谷歌说强化学习可以降低计算成本
- Facebook卷入了Epic起诉苹果垄断案:被苹果要求提供部分文件
- 标签: 格力电器 2025年Q3 财报
- 随机阅读
-
- 标签: 抖音电商 盗播治理 真人盗播 内容作弊
- 标签: Seedream5.0Pro 字节 多模态图像生成 火山方舟
- 腾讯混元3D Studio 震撼登场:3D 创作从"天"级提速至"分钟"级
- 标签: 微信 iQOO Neo11 钟慧娟
- 无代码平台如何通过SaaS推动初创企业的增长?
- 标签: 飞猪 租车自驾游 新能源车 舒心租
- DuckDuckGo订阅服务新增AI功能 月费9.99美元可使用顶级模型
- 云安全日报210708:思科网络安全解决方案发现特权提升漏洞,需要尽快升级
- 九种深度学习算法简介
- 腾讯:钱对我来说,就是一堆数字了
- 标签: 豆包 中兴 努比亚 AI原生手机
- AI 模型“炒股”比拼!DeepSeek 收益超14%,Gemini2.5Pro 惨亏四成
- Vercel 旗下 AI 前端开发工具 v0 即将推出 iOS 应用程序
- 发芽的土豆可以吃吗有没有毒
- 标签: 华境汽车
- 腾讯云 TokenHub 发布 DeepSeek-V4 预览版,百万上下文支持全面上线
- 标签: 法拉第未来 FFEAI机器人 贾跃亭 Futurist
- 大模型不再是“万能钥匙”?探秘 AI 初创公司的新策略与挑战
- 开发板能这么用?美国学者用Jetson Nano支持假肢,控制每一根手指
- Uber与谷歌、甲骨文签署云计算协议 转向使用云服务
- 搜索
-
- 友情链接