挑战主流认知!蚂蚁、人大在2025外滩大会发布行业首个原生MoE扩散语言模型
蚂蚁集团和人民大学联合研发原生MoE架构扩散语言模型(dLLM) LLaDA-MoE,在约20T数据上完成了从零训练MoE架构的扩散语言模型,验证了工业级大规模训练的扩展性和稳定性;效果超过此前发布稠密扩散语言模挑战型LLaDA1.0/1.5和Dream-7B,比肩等效自回归模型,并保有数倍的推理速度优势。模型将在近期完全开源,以推动全球AI社区在dLLM上的技术发展。 9月11日,在2025Inclusion·外滩大会上,蚂蚁集主流团与中国人民大学联合发布业界首个原生MoE架构的扩散语言模型(dLLM)“LLaDA-MoE”,中国人民大学高瓴人工智能学院副教授李崇轩,蚂蚁集团通用人工智能研究中心主任、西湖大学特聘研究员、西湖心辰创始人蓝振认知忠参与了发布仪式。 (中国人民大学、蚂蚁集团联合发布首个MoE架构扩散模型LLaDA-MoE) 据介绍,这款新模型通过非自回归的掩码扩散机制,首次通过原生训练的MoE在大规模语言模型中实现了与Qwen2.5相当的语言智!蚂能(如上下文学习、指令遵循、代码和数学推理等),挑战了“语言模型必须自回归”的主流认知。 实现数据显示,LLaDA-MoE模型性能效果在代码、数学、Agent等任务上领先于LLaDA1.0/1.5和Dream-7B等扩散蚁、语言模型,接近或超越了自回归模型 Qwen2.5-3B-Instruct,仅激活1.4B 参数即可实现等效3B稠密模型的性能。 (LLaDA-MoE性能表现) “LLaDA-MoE模型验证了工业级大规模训练的扩展性和稳定人大性,意味我们在把dLLM训扩到更大规模的路上又往前走了一步。”蓝振忠在发布现场表示。 中国人民大学高瓴人工智能学院副教授李崇轩介绍,“两年过去,AI大模型能力突飞猛进,但存在一些问题始终没有得到本质上的解决。究其原在2因,这是当前大模型普遍采用的自回归生成范式所造成的——模型天然是单向建模的,从前往后依次生成下一个token。这导致它们难以捕tokens 之间的双向依赖关系。” 面对这些问题,一些研究者选择另辟蹊径,将目02光投向并行解码的扩散语言模型。然而,现有 dLLM 均基于稠密架构,难以复刻 ARM 中 MoE 的“参数扩展、计算高效”优势。在这样的行业背景下,蚂蚁和人大联合研究团队,首次在MoE架构上推出了原生的扩散语言模型LLaDA-M5外oE。 蓝振忠还表示,“我们将于近期向全球完全开源模型权重和自研推理框架,与社区共同推动 AGI 新一轮突破。” 据了解,蚂蚁与人大团队攻关3个月,在LLaDA-1.0基础上重写训练代码,并且基于蚂蚁自研分布式框架 ATor滩大ch提供EP 并行等一系列并行加速技术,基于蚂蚁Ling2.0基础模型的训练数据,在负载均衡、噪声采样漂移等核心难题上取得突破,最终采用7B-A1B(总7B、激活1.4B)的MOE架构完成约20T 数据的高效训练。 在会发蚂蚁自研的统一评测框架下,LLaDA-MoE 在 HumanEval、MBPP、GSM8K、MATH、IFEval、BFCL 等17项基准上平均提升8.4%,领先 LLaDA-1.5达到13.2%,与 Qwen2.5-3B-I布行nstruct 打平。实验再次验证“MoE 放大器”定律在 dLLM 领域同样成立,为后续10B–100B 稀疏模型提供可行路径。 据蓝振忠介绍,除模型权重外,蚂蚁还将同步开源针对 dLLM 并行特性深度优化的推理引擎。相比 NVI业首DIA 官方 fast-dLLM,该引擎实现了显著加速。相关代码与技术报告将于近期在 GitHub 及 Hugging Face 社区同步发布。 蓝振忠还透露,蚂蚁将持续投入包括基于dLLM的AGI领域,下一阶段将联合学界和全球AI社区个原共同推动AGI新的突破。“自回归不是终点,扩散模型同样可以成为通向 AGI 的主干道。”蓝振忠如是说。
- 最近发表
- 随机阅读
-
- 标签: Temple Zomato 迪平德尔·戈亚尔 可穿戴设备
- 标签: 亚马逊 Anthropic AWS 云计算
- 标签: 马年纪念钞 中国人民银行 纪念币 溢价
- 璐濈储鏂�細鏈変簡浜氶┈閫婂憳宸ュ拰瀹㈡埛锛屾垜鎵嶆湁閽变笂澶�
- 标签: 抖音电商 服饰合规 经营指南 非全新服饰
- 标签: 华大北斗 北斗芯片 比亚迪 格力创投
- 让图网络更稳健!谷歌提出SR-GNN,无惧数据标记偏差和领域转移
- 让AI说话告别三观不正,OpenAI只用80个文本就做到了
- 标签: 小米 李创奇 AI眼镜 雷军
- 标签: 中国核电 新能源 聚变能源
- 为何金融领域应用“云遣返”现象大增?
- 数据分析和数据科学的五大不同之处 译文
- 标签: 长安汽车 极狐 L3自动驾驶 智能网联汽车
- 标签: 保时捷 潘励驰 中国研发中心 智能化
- 云安全日报211221:红帽身份验证和访问控制系统发现重要漏洞,需要尽快升级
- 标签: 舒福德 智能床
- 超5亿用户信息遭泄露 Facebook:不打算通知相关用户
- 标签: 博瑞晶芯 ARM芯片 珠海 信创
- OpenAI上半年财报大曝光:销售额破43亿美元
- 谷歌Gemini主动式助手更名“每日简报”,深度集成多源数据实现智能推送
- 搜索
-
- 友情链接