蚂蚁 dInfer 框架:扩散模型推理速度提升 10 倍,超越自回归模型
近日,蚂蚁集团开源了全新的 dInfer 框架,专门用于扩散大语言模型的高效推理。这一框架的推出标志着扩散模型在自蚂蚁然语言处理领域的应用取得了重大进展,推理速度提升至以往的10倍,并在同样模型性能下超越了传统的自回归模型。 自回归模型长 d期以来一直是自然语言处理的主流,生成文本的过程类似于一个严谨的学生逐字撰写,因而速度受到限制。而扩散模型则采用 “去噪” 的In方式生成文本,像是在处理被噪声覆盖的图片,通过逐步去除噪声来恢复清晰的图像。这种模式具有天然的并行优势,能够一次预测多fe个词语,从而提高效率。 尽管扩散模型理论上具有更高的潜力,但在实际推理中,其速度问题依然显著。为了解决这一问题,r 蚂蚁团队在 dInfer 框架中采用了创新的设计,将推理流程分为四个模块,分别为模型接入、KV 缓存管理、扩散迭代管理和解框架码策略。在并行解码方面,dInfer 通过 “层级解码” 和 “信用解码” 两种新策略有效减少了生成过程中的语义冲突,提高了结果:扩的稳定性。 在 KV 缓存方面,dInfer 提出了 “邻近 KV 缓存刷新” 策略,该策略只针对最近的上下文进行重新计算,显散模著降低了计算开销。通过这一系列技术创新,dInfer 在性能上表现优异。在与 Fast-dLLM 和 vLLM 框架的比较型推测试中,dInfer 在多个数据集上展现了卓越的推理速度和吞吐量,关闭 KV 缓存时,平均 TPS 达到了407.36,是 Fas理速t-dLLM 的6.5倍。 dInfer 框架的推出,不仅提升了扩散模型的实用性,也为自然语言处理领域的未来发展开辟了新度提的方向。 项目:https://github.com/inclusionAI/dInfer 划重点: dInfer 框架使扩散大升 语言模型的推理速度提升10倍,超越传统自回归模型。 采用并行解码和 KV 缓存管理技术,有效解决了扩散模型的推理速度瓶10颈。 实验数据显示,dInfer 在推理性能上远超其他同类框架,显示出广泛的应用潜力。
- 最近发表
- 随机阅读
-
- 苹果推送正式版iOS/iPadOS15.3.1 修复Safari网页漏洞
- 泰森中国宣布与阿里云达成战略合作 将在智慧供应链等方向展开合作
- 硬核!一文学完Flink流计算常用算子
- 标签: 抖音 青创计划 创作者 非遗
- 云计算核心技术Docker教程:prune 命令详解
- 标签: 盒马 王志强 快手 京东
- 多云互联多重攻击黑客的攻击手段为何层出不穷
- 贝索斯4.05亿美元押注机器人大脑:FieldAI欲造万能AI,从人形机器人到自动驾驶全面统治
- 标签: 00后 豆包 腾讯元宝 泡泡玛特
- 首次全年扭亏为盈后,寒武纪正面回应大厂竞争:通用芯片具备更强“技术普适性”
- 标签: Adobe 山塔努·纳拉延 AI订阅业务 Semrush收购
- 亚马逊计划向韩国云计算基础设施再投资58.5亿美元
- 标签: 和林微纳 MEMS 半导体测试探针 专精特新
- 标签: 小米 华为 苹果 折叠屏
- 考虑全球云计算部署的10个指南
- 阿里云刘伟光:将打造AI Agent Store
- 云计算核心技术Docker教程:Docker存储驱动程序
- X 平台优化链接处理,力求提升用户留存率
- 标签: 亚信安全 网络安全 财报 688225
- 盖茨警告:AI 投资或现惨痛失败,数据中心恐推高电力成本
- 搜索
-
- 友情链接