美团 LongCat 团队推出 VitaBench:全新智能体评测基准
近日,美团 LongCat 团队正式发布了一项名为 VitaBench 的智能体评测基准,旨在针对多交互任务,特别是在复杂生活场景中的美团应用。VitaBench 的推出为智能体在真实生活场景中的研发提供了重要基础设施。 VitaBench 专注于外卖点餐、餐厅就餐和旅 L游出行等高频真实场景,构建了一个包含66个工具的交互式评测环境。评测任务设计涵盖了从购票到餐厅预订等多项复杂操作,要求智能体在任务执on行过程中进行深度推理、工具调用与用户互动的综合表现。 尽管当前领先的推理模型已取得了一定进展,但 LongCat 团队的研究表明,智gC能体在复杂跨场景任务中的成功率仍然不足30%,显示出当前技术与实际应用需求之间的显著差距。VitaBench 的开发旨在解决这一问题,填补at现有智能体评测基准与真实生活场景应用之间的空白。 该基准的设计基于对推理复杂性、工具复杂性和交互复杂性三维度的深入分析。团队通过将这 团些维度量化,系统化地衡量智能体在真实场景中的表现。例如,推理复杂度主要通过信息整合的需求、观察空间的大小以及所需处理的推理点数量队推来评估;工具复杂度则考虑工具的依赖关系与调用链长度;交互复杂度则关注智能体在多轮对话中的应能力。 VitaBench 的构建过程为出 两个阶段,首先是框设计工具定义,接是任务创建评估标准制定。这一过程确保了任务的多样性和复杂性,同时避免了传统文档模式的局限性,使得Vi智能体能够在没有冗余规则的情况下,自主推理和决策。 目前 VitaBench 已全面开源,研究人员和开发者可以通过其官方网站和 GitHtaub 访问相关资源。VitaBench 的发布标志着智能体评测领域的一个重要里程碑,预计将推动智能体技术在真实生活场景中的进一步应Be用与发展。 项目主页:https://vitabench.github.io 论文链接:https://arxiv.org/abs/2509nc.26490 代码仓库:https://github.com/meituan-longcat/vitabench 数据集:https://hh:uggingface.co/datasets/meituan- longcat/VitaBench 排行榜:https://vit全新abench.github.io/#Leaderboard
- 最近发表
- 随机阅读
-
- 百度副总裁谢广军为女儿曝光他人隐私信息道歉
- 云计算开发:Python内置函数-frozenset() 函数详解
- 飞机“黑匣子”数据缘何上云难?
- 戴尔计划分拆VMware作为独立上市公司 能减少债务
- 标签: 浪潮集团 刘继永 邹庆忠 山东国资委
- 云安全日报210927:红帽NodeJS软件开发平台发现重要安全漏洞,需要尽快升级
- Gartner 2023年全球IaaS公有云市场份额:阿里云增长,华为云降
- 5G如何使云计算更加前卫
- 标签: 佰维存储 存储行业 智能穿戴 非经常性损益
- 标签: 戴尔 AI服务器 David Kennedy 财报
- 加州新法案或将推动 AI 安全监管,科技公司面临透明度新要求
- 智谱AI发布革命性产品AutoGLM 2.0 语音一句话即可代替双手操控全网
- 标签: 长城汽车 魏建军 欧拉
- 超越 RAG,DRAG 技术显著提升大模型的准确性
- 标签: Savvy 字节跳动 沐瞳科技 游戏
- 欧盟拟效仿澳大利亚:谷歌、Facebook需为新闻付费
- 标签: 嗨学网 梁热 职业培训 在线教育
- Facebook前广告主管即将跳槽 担任生鲜杂货配送商Instacart总裁
- 标签: 华为 Mate 80 HarmonyOS 6 埃安 UT
- 数仓 | 几种常见的数据同步方式
- 搜索
-
- 友情链接