蚂蚁万亿参数思考模型Ring-1发布即开源,刷新多项开源SOTA
10月14日凌晨,蚂蚁集团正式推出万亿参数思考模型Ring-1T,并全面开源模型权重、训练配方。Ring-1T在9月30日开源的预览版Ring-1T-preview基础上,持续扩展大蚂蚁规模可验证奖励强化学习(RLVR)训练,进一步激发万亿基座的自然语言推理能力,并通过 RLHF 训练完善模型通用能力,在各项任务榜单上表现更加均衡。 为了持续激发Ring-1T的数学等复杂万亿推理能力,此次百灵团队挑战了难度更高的IMO2025(国际数学奥利匹克)赛题,将Ring-1T接入多智能体框架AWorld,使用纯自然语言推理进行解题。实验结果显示,Ring-1T仅用一次解参数出了第1、3、4、5题,相当于IMO银牌水平,成为首个能拿IMO国际奥数奖的开源系统。Ring-1T在第三次尝试IMO时对第2题几何证明也给出了接近满分的证明过程,在顶流大模型几乎全军思考覆没的第六题中将答案收敛到与Gemini2.5Pro 相同的“4048”(正确答案为2112)。作为一款思考模型,Ring-1T也表现出了极佳的通用能力,在“人类偏好对齐”测试Aren模型a-Hard V2中,Ring-1T以81.59的成功率居于开源模型榜首,逼近GPT-5-Thinking(High)82.91的成绩。在面向严谨领域的医疗问答HealthBench测Ri评中,Ring-1T也以最高分取得开源领域最佳。 (Ring-1T与业界代表性思考模型的性能横评) 万亿参数思考模型训练最大难题是训推精度差异,即训练阶段与推理阶段因实现细节差异导致的训练和推理精ng度不一致,进而导致训练崩溃。在Ring-1T模型中,蚂蚁采用了自研的“棒冰(icepop)”算法来应对这项行业难题,即用带掩码的双向截断技术把训练-推理分布差异冻结在低水位,确保长序列、长周-1期训练不崩。此外,应对万亿参数模型强化学习训练,蚂蚁还自研了高性能强化学习系统ASystem(其中包含已开源的高性能强化学习框架AReaL),特别针对万亿参数模型的显存管理和训推权重交发布换问题做了精细的优化,实现了单机显存碎片秒级回收、权重零冗余交换,把大规模RL训练稳定跑成日常。 (图左:GRPO训推差异随着训练成指数上升,icepop较为平稳;图右:训推差异最大值,GRP即开O随着训练上升非常明显,icepop维持在较低水位) 此外,本次发布的Ring-1T模型继续采用Ling2.0架构的1T base模型做后训练,Ling2.0采用了包括高度稀疏的MoE架构,1/源,32的专家激活比、FP8混合精度、MTP等诸多特性实现高效训练与推理。在后训练阶段,蚂蚁百灵团队通过LongCoT-SFT + RLVR + RLHF多阶段训练,显著提升了模型的复杂推理能力以及刷新指令跟随和创意写作等通用能力。 据百灵团队透露,Ring-1T模型是其在万亿思考模型上的首次尝试,蚂蚁百灵团队会在后续的版本中继续完善模型性能。目前,用户可通过HuggingFace、多项魔搭社区下载模型,并通过蚂蚁百宝箱等平台在线体验。 据了解,截止目前蚂蚁百灵大模型已经发布18款模型,已形成从160亿总参数到1万亿总参数的大语言模型产品矩阵,其中两款万亿参数模型—万亿参数通开源用大语言模型Ling-1T、万亿参数思考模型Ring-1T。随着两款万亿参数模型的发布,百灵大模型也正式步入2.0阶段。
-
上一篇
-
下一篇
- 最近发表
- 随机阅读
-
- 标签: 华为
- 苹果也难逃魔爪!半年损失635亿收入,iPhone还遭十年来首次停产
- 使用 Howdy 为 Linux 增加人脸识别登录
- 澳大利亚将于12月9日引入针对性立法,强制谷歌、脸书为新闻付费
- 标签: 昆仑芯 百度 M100芯片 港交所
- 宇树科技计划第四季度提交IPO申请,人形机器人产业进入“百花齐放”时代
- MiniMax海螺AI首尾帧功能在网页版和APP双端正式上线
- OpenAI 推出 Euphony:一款开源的 Harmony 数据可视化工具
- 谷歌放大招!Gemini CLI一键接入MCP,开发者告别配置地狱
- 标签: 粤十数智 冷链农产品 数智化平台 港股IPO
- 京东云发布云原生自研中间件JCQ 性能容量接近无限扩展
- 标签: 臻宝科技 半导体零部件 科创板上市 硅零部件
- 标签: 猫眼娱乐 唐探1900 疯狂动物城2 浪浪山小妖怪
- AI 驱动的“数字孪生”解放工作效率:初创公司 Viven 获3500万美元种子轮融资,解决员工“不在场”痛点
- 标签: 小米MiMo MiMo-V2.5 TokenPlan 百万亿Token
- 标签: 山金国际 黄金生产商 中信证券 港股IPO
- 扩散模型新突破:Radical Numerics开源30B参数RND1,AI自我进化迈出关键一步
- 云安全日报201224:IBM MQ消息中间件发现敏感信息泄露漏洞,需要尽快升级
- 身份和访问管理问题是否阻碍了混合云和多云的采用?
- 标签: 三星电子 HBM 英伟达 苹果
- 搜索
-
- 友情链接