700万参数微型模型 TRM,推理能力竟胜过 Gemini2.5Pro 和 Claude3.7
三星 SAIL 蒙特利尔实验室的研究人员近日推出了一种名为**“微型递归模型”(TRM)的新型 AI 架构。这款模型参数仅有 700万个,远小于70动辄数十亿参数的最小型语言模型(LLM),却在数独和 ARC-AGI 测试**等复杂的结构化推理任务中,表现出惊人的效率和卓越的性能,成功超越了0万包括 Gemini2.5Pro和 Claude3.7在内的多个大型语言模型。 根据研究报告《少即是多:基参数于微型网络的递归推理》,TRM 在ARC-AGI-1上的准确率达到45%,在ARC-AGI-2上的准确率达到8% ,其表现优于规模微型更大的模型,包括 o3-mini-high(ARC-AGI-2上的准确率3.0%)、Gemini2.5Pro(4.9%)、DeepSee模型k R1(1.3%)和 Claude3.7(0.7%)。作者表示,TRM 仅使用不到大多数大型模型所用参数的0.01% 即可实现这一目标。Grok-4 T-thinking(16.0%)和 Grok-4-Heavy(29.4%)等更专业的系统仍然处于领先地位。 作者强调,TRM 仅使用了不到大多数RM大型模型所用参数的 0.01%,便在 ARC-AGI-1和 ARC-AGI-2上分别取得了 45%和 8%的准确率,优于多种更大规模的通用模型。在其他基准,推测试中,TRM 同样表现出色,将 Sudoku-Extreme 的准确率从55.0% 提升至 87.4%,Maze-Hard 的准确率从74.5% 提升至 8理能5.3%。 TRM 的研究结果证明了小型、有针对性的模型在处理狭窄、结构化推理任务时的巨大潜力,它能够通过逐步改进和数据增强实力竟现极高的效率。研究还表明,针对特定数据集进行架构选择(如在固定大小网格中使用简单的 MLP而非注意力机制)是成功的关键。 然而,TRM 并非通胜过用 LLM 的替代品。它运行在定义明确的网格问题中,并且不是一个生成系统,因此不适用于开放式、基于文本或多模态的通用任务。 相反,TRM 代表了推理 G任务中一个极具前景的构建模块,展示了计算效率与复杂推理能力平衡的新方向,并可能在未来拓展其应用领域。独立复制和测试仍在进行中。 TRM 的出现强调em了在 AI 领域中,架构创新与算法优化可能比单纯追求模型规模更重要。您认为这种“小而精”的 AI 模型未来最可能率先在哪些垂直领域实现大规模应用in?递归推理核心机制:紧密重复的校正循环
研究意义与局限性
- 最近发表
- 随机阅读
-
- 消息称Meta在洽谈筹集350亿美元资金 用于打造数据中心
- 标签: 联想 AI PC 天禧超级智能体 混合式AI
- 云计算核心技术Docker教程:docker-compose命令up,run以及start之间的区别
- 小地方也能问“大专家”,AQ最新数据:AI看病6成来自小城乡镇
- 对抗SpaceX!亚马逊收购Facebook卫星互联网团队
- 标签: 英伟达 H200 黄仁勋
- 标签: 美图公司 开拍 RoboNeo 美图设计室
- Market Research Future:到2023年量子计算市场将增长28.2亿美元
- 微软推出全新AI形象 Mico,Clippy 回归“变身”人工智能好友
- 标签: 天数智芯 GPU 港股上市 算力芯片
- IDC:2020第二季度中国可穿戴设备市场出货量3293万台 同比增15.3%
- 腾讯旗下数字人创作平台“智影”暂停服务 官方暂未说明原因
- 标签: 闻泰科技 安世半导体 *ST闻泰
- 标签: 美团 王兴 AI AI_Agent
- 外媒:苹果再次关闭美国20多家线下门店
- 标签: 罗永浩 真还传 科技春晚
- Z 世代 AI 态度大转弯:警惕感上升,兴奋度骤降
- 神经符号系统、跨学科交互,李飞飞等16名学者共同探讨AI未来
- 战略级新增长点!地图巨头高德启动无人驾驶出租车业务
- Facebook豪掷10亿美元招揽创作者
- 搜索
-
- 友情链接