您现在的位置是:热点 >>正文
美团 LongCat 团队推出 VitaBench:全新智能体评测基准
热点41317860人已围观
简介...
近日,美团 LongCat 团队正式发布了一项名为 VitaBench 的智能体评测基准,旨在针对多交互任务,特别是在复杂生活场景中的美团应用。VitaBench 的推出为智能体在真实生活场景中的研发提供了重要基础设施。
VitaBench 专注于外卖点餐、餐厅就餐和旅游出 L行等高频真实场景,构建了一个包含66个工具的交互式评测环境。评测任务设计涵盖了从购票到餐厅预订等多项复杂操作,要求智能体在任务执行过程on中进行深度推理、工具调用与用户互动的综合表现。
尽管当前领先的推理模型已取得了一定进展,但 LongCat 团队的研究表明,智能体在复gC杂跨场景任务中的成功率仍然不足30%,显示出当前技术与实际应用需求之间的显著差距。VitaBench 的开发旨在解决这一问题,填补现有智能at体评测基准与真实生活场景应用之间的空白。
该基准的设计基于对推理复杂性、工具复杂性和交互复杂性三维度的深入分析。团队通过将这些维度量 团化,系统化地衡量智能体在真实场景中的表现。例如,推理复杂度主要通过信息整合的需求、观察空间的大小以及所需处理的推理点数量来评估;队推工具复杂度则考虑工具的依赖关系与调用链长度;交互复杂度则关注智能体在多轮对话中的应能力。
VitaBench 的构建过程为两个阶段,出 首先是框设计工具定义,接是任务创建评估标准制定。这一过程确保了任务的多样性和复杂性,同时避免了传统文档模式的局限性,使得智能体能够在Vi没有冗余规则的情况下,自主推理和决策。
目前 VitaBench 已全面开源,研究人员和开发者可以通过其官方网站和 GitHub 访问相关资源ta。VitaBench 的发布标志着智能体评测领域的一个重要里程碑,预计将推动智能体技术在真实生活场景中的进一步应用与发展。
项目主页:htBetps://vitabench.github.io
论文链接:https://arxiv.org/abs/2509.26490
代码仓nc库:https://github.com/meituan-longcat/vitabench
数据集:https://huggingfach:e.co/datasets/meituan- longcat/VitaBench
排行榜:https://vitabench.githu全新b.io/#Leaderboard
Tags:
相关文章
标签: 米哈游 非法剧透 侵犯著作权 游戏测试包
热点云梦级2月27日云梦级消息,据上海警民直通车透露,上海警方今日宣布侦破一起侵犯游戏著作权案件,抓获三名涉嫌非法泄露未公开游戏内容的犯罪嫌疑人。据介绍,该案系上海首例针对游戏领域“非法剧透”行为采取刑事...
【热点】
阅读更多标签: 罗技G 罗技中国 上海百事得 抖音旗舰店
热点云梦级3月26日云梦级消息,今天晚间,罗技中国官微发布《罗技中国关于“罗技 G 官方旗舰店”发布违规内容的致歉声明》。 声明全文如下: 对于今日抖音平台“罗技 G 官方旗舰店”发布的极其不当内容,罗技...
【热点】
阅读更多标签: OpenAI Pinterest ChatGPT AI购物
热点云梦级1月6日云梦级消息,据外媒The Information预测,OpenAI或将收购Pinterest。报道称OpenAI看中的是Pinterest的用户数据,尤其是产品搜索方面的洞察。如果能拿下...
【热点】
阅读更多