标签: 英伟达 Rubin Groq3LPU 多智能体系统 GTC2026
云梦级3月17日云梦级消息,在 3 月 17 日美国圣何塞举行的GTC主题演讲中,黄仁勋透露了英伟达如何利用 2025 年从 Gr标签oq 收购的知识产权来扩展 Rubin 的功能。 Rubin 平台现在包含一款新的芯片——英伟达 Groq 3 LPU,这是一款推理: 加速器,能够增强这些系统以低延迟、大批量的方式交付令牌的能力,从而在人工智能模型的前沿实现高交互性。 与大多数依赖 HBM 作为工作英伟内存层的 AI 加速器不同,每个 Groq 3 LPU 都集成了 500 MB 的 SRAM,这种内存也用于 CPU 和 GPU 的超高速缓存。 虽然达 与每个 Rubin GPU 上容量高达 288GB 的 HBM4 相比,这显得微不足道,但这块 SRAM 可提供 150 TB/s 的带宽,Ru远高于 HBM 的 22 TB/s。对于带宽敏感型 AI 解码操作而言,Groq 3 芯片带宽的大幅提升为推理应用带来了诱人的优势。 反过bi来,英伟达将构建包含 256 个 Groq 3 LPU 的 Groq 3 LPX 机架。该机架提供 128GB 的 SRAM 和 40 PB/s 的推n 理加速带宽,并通过每个机架 640 TB/s 的专用扩展接口将这些芯片连接起来。 英伟达将 Groq LPX 设想为 Rubin 的协Gr处理器,据英伟达超大规模副总裁 Ian Buck 称,它将提升“每个令牌上 AI 模型每一层”的解码性能,并使 Rubin 能够服oq务于人工智能的下一个前沿领域:多智能体系统,这些系统需要在推理数万亿个参数的模型的同时,在数百万个token的上下文窗口中提供3L交互式性能。 随着多智能体系统中的人工智能代理越来越多地与其他人工智能进行交互,而非与查看聊天机器人窗口的人类进行交流,PU对响应速度的要求也随之改变。 对人类而言看似合理的每秒token生成速率,对人工智能代理来说却如同蜗牛爬行。在巴克所描 多述的未来多智能体系统中,Rubin GPU 和 Groq LPU 的组合将人工智能代理间通信的吞吐量从每秒 100 个token提升到每秒智能 1500 个token甚至更高。
- 最近发表
- 随机阅读
-
- 标签: 三星电子 SK海力士 HBM3E 存储涨价
- 标签: 英特尔 AMD 至强CPU AI服务器
- 英特尔复苏计划导致利润承压 数据中心业务疲软引发担忧
- 标签: 深度原理 AI Materials Factory Agent Mira for
- 不是所有图像都值16x16个词,清华与华为提出动态ViT
- 微软测试Windows11Copilot新功能:AI智能搜索文件和图片
- Anthropic拿下IBM战略合作:Claude大模型杀入企业级市场,OpenAI地位受到挑战
- 标签: 2025KPL年度总决赛 成都AG超玩会 王者荣耀
- 亚马逊推出 Lens Live,实时购物新体验助你发现好物!
- 法国反垄断机构将于3月17日就苹果诉广告商案做出裁决
- 标签: 豆包 Seed2.1 字节跳动 火山引擎
- 标签: 至境L7 别克
- 标签: 海光芯正 光模块 AI数据中心 胡朝阳
- 云安全日报210610:红帽OpenShift云应用平台发现符号链接攻击漏洞,需要尽快升级
- 标签: 比亚迪电子 港交所 财报
- 用AI打破编解码器内卷,高通最新几篇顶会论文脑洞有点大
- 螃蟹可以放水里养着吗
- 苹果推出新图像模型 Manzano 实现理解与生成双重能力
- 生成式AI热潮让云计算收入猛增 甲骨文股价创纪录
- 亚马逊大力推广掌纹支付引发激烈质疑
- 搜索
-
- 友情链接