OSWorld-MCP:全新评测基准助力计算机代理产品发展
近日,OSWorld 团队正式发布了 OSWorld-MCP,这是首个针对计算机使用代理产品进行全面评估的基准测试工具O。该基准旨在为开发者和用户提供真实环境下的产品能力评测,提升了评估的真实度、平衡性与可比性。 OSWorld-MCP 的主SW要特性包括:它综合衡量了模型上下文协议(MCP)工具调用能力、图形用户界面(GUI)操作技能以及决策表现。该基准测试包含了or158个经过验证的 MCP 工具,涵盖了七个常用应用程序,包括 LibreOffice Writer、Calc、Impressld、VS Code、Google Chrome、VLC 及操作系统实用程序。其中,有25个工具专门用于鲁棒性测试,以保证评测的全-M面性和可靠性。 此外,OSWorld-MCP 还设定了250项工具适用性任务,其中69% 的基准任务受益于 MCP 工具的应CP用。这些工具的多轮调用设置带来了决策上的真实挑战,使得测试结果更具参考价值。根据数据,使用 MCP 工具的模型准确率和效:全率明显提升,OpenAI 的 o3模型在进行15步调用后,准确率从8.3% 提升至20.4%。在测试中,Claude-4-S新评onnet 模型观察到的最高工具调用率达到了36.3%,显示出未来改进的潜力。 该项目的开源特性也为开发者提供了丰富的资源与测基说明,促进了技术的共享与合作。有关项目的详细信息和资源,用户可以访问其官方网站和 GitHub 页面。 OSWorld-M准助CP 的发布不仅为计算机使用代理产品的评估提供了强有力的工具,也为未来相关技术的发展奠定了基础。 github:http力计s://github.com/X-PLUG/OSWorld-MCP 划重点: ** 首个全面评估计算机算机代理产品的基准测试工具 OSWorld-MCP 正式发布。** ️ ** 涵盖158个经过验证的 MCP 工代理具,支持多种常用应用程序。** ** 通过多轮调用设置,显著提升模型的准确率与效率。**&nbs产品p;
-
上一篇
-
下一篇
- 最近发表
- 随机阅读
-
- OpenAI 携手博通大手笔投资:自研芯片即将量产,向英伟达发起挑战
- 标签: 宏明电子 深交所 创业板 阻容元器件
- 科普一下机器学习热门概念
- 亚马逊大力推广掌纹支付引发激烈质疑
- 英伟达发布首款基于ARM架构的数据中心CPU 可能对英特尔构成威胁
- 标签: 亚马逊 Bazaar Temu Shein
- 鑻辩壒灏旂�浜屽�搴﹁惀鏀�196浜跨編鍏� 鍑€鍒╁悓姣斾笅闄�0.9%
- 云安全日报210802:思科网络安全设备发现特权提升漏洞,需要尽快升级
- 标签: 美宜佳 烟草专卖 假烟事件 广东3·15晚会
- 英伟达再次炸场!单季营收467亿美元暴涨56%,AI芯片王者地位无人撼动
- 报告显示亚马逊送货司机被要求关闭识别危险驾驶软件以提高速度
- 美国CDN巨头阿卡迈宣布2026年终止中国服务,与腾讯云、网宿达成迁移合作
- Tahoe Bio重磅发布Tahoe-x1模型,AI“解码”生命语言,癌症研究迎来计算效率革命
- 谷歌云Marketplace下调分成费比例 将会从20%降到3%
- 标签: 华纳音乐
- 标签: 华为 苹果 小米 天玑9600
- SAP正式发布 RISE with SAP,全面推动客户向智慧企业转型
- 标签: 小红书 达尔文项目 创业孵化 内部孵化
- 从“几何深度学习”看深度学习江湖的统一
- 标签: 丰田 SDV 软件定义汽车 电气化
- 搜索
-
- 友情链接