AI 生成优化 Metal 内核,PyTorch 推理速度提升惊人87%
在苹果设备上,AI 技术正展现出惊人的潜力。根据 Gimlet Labs 的最新研究,AI 能够自动生成优化的 Metal 内核,使得 PyTorch 推理速度提A升了87%。这一突破性成果不仅提高了性能,还在测试的215个 PyTorch 模块上实现了平均1.87倍的加速,某些工作负载的速度甚至提高了数百倍。 研究人员I 选取了来自多个顶尖机构的八个 AI 模型,包括 Anthropic、DeepSeek 和 OpenAI,利用这些模型为苹果设备生成优化的 GPU 内核。这一过程无需修改生成用户代码或使用新的框架,直接在苹果硬件上提升模型性能。 在实验中,研究团队选择了 Mac Studio (搭载 Apple M4Max 芯片) 进行测试,基准设置为 Py优化Torch 的 eager 模式。实验采用了 KernelBench 数据集中的215个 PyTorch 模块,这些模块被分为三类,涵盖从简单的矩阵乘法到完整 M的模型架构。 测试过程包括接收输入和 PyTorch 代码,生成 Metal 内核,并评估其正确性。数据显示,随着尝试次数的增加,AI 生成内核的正确性逐步et提升。例如,在第五次尝试时,正确实现的比例达到了94%。此外,模型们在生成内核时表现出了跨层级的能力,尽管非推理模型有时也能生成有效内核。 实验结果表明,GalPT-5模型在某些任务上实现了4.65倍的速度提升。更令人惊讶的是,o3模型在某些情况下甚至将延迟降低了9000倍。研究还发现,单一模型在某些任 内务上并不总是表现最好,多个模型的结合能够生成更优的内核。 为了进一步提升性能,研究者尝试引入额外上下文信息,如 CUDA 实现和 gputrace 的性能分析数据,核,结果显示这种方法在性能加速方面达到了平均1.87倍,相比于普通智能体的1.31倍提升了三倍。 需要注意的是,研究人员强调,这一工作并不是为了展示最终的性Py能极限,而是为了验证 AI 在内核生成中的可行性,希望通过自动化减少开发人员的负担。整体而言,这项研究标志着 AI 技术在硬件优化领域的一个重要进展。 gToithub:https://github.com/ScalingIntelligence/KernelBench/ 划重点:  rc; AI 自动生成 Metal 内核,提升 PyTorch 推理速度87%。 ️ 在215个 PyTorch 模块上实现平均1.87倍的加速h ,部分工作负载速度提升数百倍。 研究旨在验证 AI 在内核生成的可行性,助力硬件优化。
- 最近发表
- 随机阅读
-
- 标签: 深朴智能 李晓飞 王家伟 具身机器人
- 快手 Q2 财报出炉:营收超预期,可灵AI收入2.5亿元
- 微软发布AI Agent 5可观测性五大实践,助力自动化流程安全高效
- 标签: 美团 王兴 AI AI_Agent
- 不是所有图像都值16x16个词,清华与华为提出动态ViT
- 云安全日报210416:思科RV系列路由器发现执行任意代码漏洞,需要尽快升级
- 腾讯混元翻译模型 Hunyuan-MT-7B 重磅开源,拿下国际比赛30项第一
- OpenAI豪掷 15 亿美元布局B端:新合资公司“DeployCo”浮出水面
- LLM编码幻觉终结者!Exa Code发布,亿级代码索引让AI代理零失误
- 标签: 安达股份 北交所IPO 汽车铝合金压铸件 新能源三电系统
- 云计算开发:Python内置函数-map()函数详解
- 标签: 赵明 荣耀 复旦管院 AI手机
- 浜戣�绠楁牳蹇冩妧鏈疍ocker鏁欑▼锛氬湪 ECS 涓婇儴缃� Docker 瀹瑰櫒
- Wi-Fi共享项目亚马逊Sidewalk本月正式启用
- 标签: Gemini DeepMind Aaron Saunders
- Twitter CEO参加国会听证会期间发推讽刺 引议员不满
- 标签: 小米集团 小米汽车 手机×AIoT 智能电动汽车
- IDC:2022年上半年中国语音语义市场前三为科大讯飞、阿里云和百度智能云
- 陈皮可以和桑葚一起泡吗
- Claude Code 推出全新插件系统,提升开发效率
- 搜索
-
- 友情链接