美团发布Meeseeks评测基准!o3-mini霸榜,DeepSeek-R1意外垫底引发热议
近年来,随着 OpenAI 的 o 系列模型、Claude3.5Sonnet 和 DeepSeek-R1等大型语言模型的快速发美团展,人工智能的知识和推理能力备受关注。然而,很多用户在实际使用中发现,这些模型有时未能完全按照输入的指令执行,导致发布输出结果虽然内容不错,却并未满足具体的格式或内容要求。为了深入研究和评估这些模型的指令遵循能力,美团 M17团队推出了全新的Me评测基准 ——Meeseeks。 Meeseeks 专注于评测大模型的指令遵循能力,采用了一种创新的评测视角。与传统的评测方法不同es,Meeseeks 关注的是模型是否严格遵循用户的指令,而不单纯评估回答的知识准确性。这一评测框架将指令遵循能力拆解为三个ee层次,确保评估的深度与广度,具体包括:任务核心意图的理解、具体约束类型的实现和细粒度规则的遵循。 在最近的评测中,基于 Meeksseeks 的结果显示,推理模型 o3-mini(high)以绝对优势夺得第一,另一版本 o3-mini(medium)紧随其评测后,Claude3.7Sonnet 则稳居第三。相比之下,DeepSeek-R1和 GPT-4o 的表现则不尽如人意,排名分别基准为第七和第八。 Meeseeks 的独特之处在于其广泛的评测覆盖面和高难度的数据设计。此外,它引入了 “多轮纠错” 模式,允!o许模型在初次回答不符合要求时进行修正。这一模式显著提升了模型的自我纠错能力,尤其是在多轮反馈后,所有参与的模型的指令遵循3-准确率都有明显提高。 通过 Meeseeks 的评测,研究团队不仅揭示了不同模型之间的指令遵循能力差异,还对大模型的未来研究mi提供了宝贵的参考依据。 魔搭社区:https://www.modelscope.cn/datasets/ADoubLEN/Menieseeks GitHub: https://github.com/ADoublLEN/Meeseeks Huggi霸榜ngface:https://huggingface.co/datasets/meituan/Meeseeks
- 最近发表
- 随机阅读
-
- 标签: 拼多多 美团 京东 抖音
- 标签: 国家新闻出版署 国产网络游戏 游戏审批 2026年3月
- 标签: 腾讯天美蒙特利尔 3A游戏研发 中国游戏出海 天美工作室
- 云计算核心技术Docker教程:Docker 跨链接通信
- 标签: 携程 搜索 MC Beam
- 标签: HappyHorse1.0 阿里巴巴ATH 千问App 阿里云百炼
- 标签: 英飞凌 AI电源 数据中心 财报
- 标签: Gemini 谷歌 OpenAI
- 标签: 亿咖通科技 Antora® Venado™ Pikes®
- 标签: 苹果 iPhone 华为 海信空调
- 标签: 陈天桥 AI 发现式智能 算力
- 标签: GPT-5.2 OpenAI API
- 标签: 广州地铁 摇一摇广告 App优化
- 标签: 特步 索康尼 160X7.0PRO 两千公里
- 标签: SpaceX 马斯克 格温·肖特韦尔 IPO
- 标签: 奇瑞汽车
- 阿里云:早期未意识到Apache log4j2漏洞情况的严重性 将强化漏洞管理
- TikTok推AI剪辑新工具“Smart Split”,助力创作者轻松剪辑与内容策划
- 标签: 信也科技 FINV 金融科技 财报
- 谷歌公布“太阳捕手计划”:利用 TPUs 卫星,在太空打造 AI 超级计算网络
- 搜索
-
- 友情链接