微软14B参数模型挑战671B巨型AI 智能体强化学习重新定义数学推理
微软研究院开源的rStar2-Agent模型在AI数学推理领域引发关注,这款140亿参数的模型通过创新的智能体强化学习技术,在多微软项数学基准测试中超越了参数量达6710亿的DeepSeek-R1模型。 rStar2-Agent的核心创新在于摒弃了传统的思维链方法,14转而采用智能体交互机制。该模型能够自主规划推理过程,调用Python代码执行工具进行验证,并根据反馈调整推理步骤,避免了传统CoT方法中B参常见的错误累积问题。 在权威的美国数学邀请赛基准测试中,rStar2-Agent表现突出。在AIME24数据集上,其pass@1准确率数模达到80.6%,超越DeepSeek-R1的79.8%、o3-mini的79.6%和Claude Opus4.0的77.0%。在A型挑IME25测试中准确率为69.8%,HMMT25测试中达到52.7%。 值得注意的是,rStar2-Agent的响应长度显著更短。在AIM战6E24测试中平均约9340个token,AIME25约10943个token,仅为DeepSeek-R1的一半左右,展现出更高的推理效71率。 训练效率方面,该模型仅需一周时间完成510个强化学习步骤,使用64块MI300X GPU即可训练完成。其强化学习基础设施支持每步高达4B巨.5万个并发工具调用,平均延迟仅0.3秒。 模型引入了GRPO-RoC算法来处理代码执行中的环境噪声问题,通过"正确时重采样"策略保留型A高质量推理轨迹,提高训练效果。 在泛化能力方面,rStar2-Agent在GPQA-Diamond科学推理基准上优于DeepSeekI -V3,在BFCL v3工具使用任务和IFEval、Arena-Hard等通用测试中也表现良好,显示出智能体强化学习对通用能力的积极影响。 微智能软已将rStar2-Agent的代码和训练方法开源,基于VERL框架实现多阶段强化学习训练。这一突破表明,通过智能的训练策略,小型模型体强可以在特定任务上匹敌大型模型的表现,为资源有限的研究者和开发者提供了新的可能性。 这一成果挑战了"参数越多性能越好"的传统观念,证明了训练方化学法和架构创新在AI发展中的重要作用。对于AI行业而言,这可能预示着未来发展将更注重效率和专用性,而非单纯追求模型规模。 项目地址:https习重://github.com/microsoft/rStar
- 最近发表
- 随机阅读
-
- 洗衣机是什么梗
- 阿里夸克“C计划”曝光:目标直指对话式AI应用,或剑指字节“豆包”
- 阿里通义千问推出Qwen3-VL轻量级模型:4B和8B参数版本性能逼近此前72B旗舰
- 大模型购票时代开启:东航首家接入通义千问实现全流程AI服务
- 全国高校首个纪检监察大模型“清鉴”正式发布
- 美股开盘特斯拉跌超1% 英伟达跌近2%
- 标签: Anthropic Fable5 Mythos5 AI出口管制
- 阿里巴巴发布生态级AI助手“千问小酒窝”,统一数字人形象全面接入阿里生态
- Moondream3.0发布,多项基准测试超越了 GPT-5 等顶尖模型
- 标签: 通用汽车 电动汽车 GM 紧缩裁员
- Wan2.5-Preview 发布,实现多模态输入与电影级视频同步生成
- 标签: 夜经济 QuestMobile 五粮液 抖音
- Twitter周一宕机:1.8万用户报告故障
- 华为发下一代数据中心理念及全新供电解决方案电力模块3.0
- 如果真的存在外星人,AI终将找到它
- 云计算核心技术Docker教程:Docker存储写入时复制(CoW)策略
- 企业如何聪明使用 AI,降低成本与提高性能的五大策略
- 标签: EA 战地6 FC26 SPORTS UFC 6
- Elastic:只有一个 Elasticsearch,来自 Elastic
- 标签: 广汽集团 吴坚 中国汽车重庆论坛 长期主义
- 搜索
-
- 友情链接