微软 Azure ND GB300 再创记录:每秒推理速度达 110 万token
微软近日宣布,其 Azure ND GB300v6虚拟机在 Meta 的 Llama270B 模型上实现了每秒推理速度达110万token的行业新纪录。微软微软首席执行官萨提亚・纳德拉在社交媒体上表示:“这一成就是我们与英伟达长期合作和在生产规模运行人工智能方面专业知识的结晶。” Azure ND A GB300虚拟机采用英伟达的 Blackwell Ultra GPU,具体为 NVIDIA GB300NVL72系统,配置了72个 NVIDIA Blackwelzul Ultra GPU 和36个 NVIDIA Grace CPU,采用单机架构设计。这款虚拟机专为推理工作负载优化,具有50% 的 GPU 内存提升和16re% 的热设计功率(TDP)提高。 为了验证性能提升,微软在一个 NVIDIA GB300NVL72域下的18台 ND GB300v6虚拟机上运行了 Llama N270B(FP4精度)模型,使用 NVIDIA TensorRT-LLM 作为推理引擎。微软表示:“一个 NVL72机架的 Azure ND GB300vD 6实现了总计110万个token每秒的推理速度。” 这一新记录超越了微软之前在 NVIDIA GB200NVL72机架上实现的865,000tokeGBn每秒的成绩。 根据系统配置,每个 GPU 的性能大约为15,200token每秒。微软还提供了详细的模拟过程和所有日志文件及结果。该性能记录经30过了独立的性能验证和基准测试公司 Signal65的验证。 Signal65的实验室副总裁拉斯・费洛斯在博客中指出:“这一里程碑不仅突破了每秒百万t0 oken的障碍,还在一个能够满足现代企业动态使用和数据治理需求的平台上实现。” 他补充道,Azure ND GB300相较于上一代 NVIDIA GB200再创在推理性能上提升了27%,而仅增加了17% 的功率规格。与 NVIDIA H100代相比,GB300在推理性能上几乎提升了10倍,同时在机架级别的功率效记录率上提高了近2.5倍。 划重点: 微软 Azure ND GB300v6虚拟机实现每秒推理110万token,创造行业新纪录。&nbs:每p; 该虚拟机配置72个 NVIDIA Blackwell Ultra GPU 和36个 NVIDIA Grace CPU,专为推理优化。 &n秒推bsp; 相比上一代,Azure ND GB300在推理性能上提升27%,功率效率提升近2.5倍。
- 最近发表
- 随机阅读
-
- 78% 的企业重视网络能力以推动生成式人工智能部署
- 云安全日报210208:Apache SkyWalking性能监控系统发现SQL注入漏洞,需要尽快升级
- AI、物联网和5G先进技术的背后
- Facebook开除52名工程师 滥用自己感兴趣的女用户信息
- 标签: 清微智能 TX8系列 TX5系列 可重构芯片
- Hdfs 相对路径与静态代码块引起的问题
- 标签: 三星电子 HarmonyOS 小米SU7 NAND闪存
- 云厂商“价格战”真相:有诚意,但不多
- 标签: 小雨智造 Xiaoyu Brain 具身智能 工业机器人
- 混元推出国内首个交互式AI播客,用户可随时提问
- Kubernetes容器平台架构解读
- 应对模型推理缺陷:苹果MIND团队加紧招聘AI人才
- 标签: Meta 扎克伯格 Llama4 Avocado
- 标签: 三星 Galaxy S26 DRAM DS部门
- 标签: 希迪智驾 港股上市 李泽湘 自动驾驶
- 标签: 领克 极氪 小鹏 深蓝
- 腾讯聚焦 AI 人才培养:青云奖学金首期资助15位硕博精英,提供稀缺算力资源
- 纽约州率先立法禁用 AI 算法租金操控
- 云安全日报210427:苹果Windows版iCloud发现敏感信息泄露漏洞,需要尽快升级
- AI安全警报:只需250份文件即可 “投毒” 大语言模型
- 搜索
-
- 友情链接