您现在的位置是:热点 >>正文
OSWorld-MCP:全新评测基准助力计算机代理产品发展
热点28166人已围观
简介...
近日,OSWorld 团队正式发布了 OSWorld-MCP,这是首个针对计算机使用代理产品进行全面评估的基准测试工具O。该基准旨在为开发者和用户提供真实环境下的产品能力评测,提升了评估的真实度、平衡性与可比性。
OSWorld-MCP 的SW主要特性包括:它综合衡量了模型上下文协议(MCP)工具调用能力、图形用户界面(GUI)操作技能以及决策表现。该基准测试包含or了158个经过验证的 MCP 工具,涵盖了七个常用应用程序,包括 LibreOffice Writer、Calc、Impressld、VS Code、Google Chrome、VLC 及操作系统实用程序。其中,有25个工具专门用于鲁棒性测试,以保证评测-M的全面性和可靠性。
此外,OSWorld-MCP 还设定了250项工具适用性任务,其中69% 的基准任务受益于 MCP 工具的CP应用。这些工具的多轮调用设置带来了决策上的真实挑战,使得测试结果更具参考价值。根据数据,使用 MCP 工具的模型准确率:全和效率明显提升,OpenAI 的 o3模型在进行15步调用后,准确率从8.3% 提升至20.4%。在测试中,Claude-4-So新评nnet 模型观察到的最高工具调用率达到了36.3%,显示出未来改进的潜力。
该项目的开源特性也为开发者提供了丰富的资源与说测基明,促进了技术的共享与合作。有关项目的详细信息和资源,用户可以访问其官方网站和 GitHub 页面。
OSWorld-MC准助P 的发布不仅为计算机使用代理产品的评估提供了强有力的工具,也为未来相关技术的发展奠定了基础。
github:https:力计//github.com/X-PLUG/OSWorld-MCP
划重点:
** 首个全面评估计算机代理产品算机的基准测试工具 OSWorld-MCP 正式发布。**
️ ** 涵盖158个经过验证的 MCP 工具,代理支持多种常用应用程序。**
** 通过多轮调用设置,显著提升模型的准确率与效率。** &nb产品sp;
Tags:
相关文章
思科:不打算推出私有云订阅服务 重点放在混合云工具上
热点8月9日消息,据国外媒体报道,此前,外媒援引知情人士的话报道称,思科正在开发一项名为Cloud Stack的订阅服务,以帮助企业从公共数据中心转移到私人数据中心。 对于此报道,思科后来予以否认。该公司...
【热点】
阅读更多全球首个!基于5G端到端切片的智能交通成功落地
热点在国家政策的大力扶持下,智能驾驶产业进入了高速发展的时代,但在未来能真正实现商用落地的项目目前仍很稀少。上海展期间,中国电信、中兴通讯联合业界合作伙伴发布的全球首个基于5G端到端切片的智能交通典型场景...
【热点】
阅读更多云基础架构-云原生DevOps的全面介绍
热点DevOps是在开发和运营之间实现流程自动化的方法,是成功实施云原生的重要因素之一。由于云原生的目的是减少上市时间并为公司带来更高的效率,因此DevOps简化了个人,工具和系统,为企业的整体成功做出了...
【热点】
阅读更多