您现在的位置是:热点 >>正文
颠覆代码智能体评测标准!GitTaskBench 开创全新时代
热点713839人已围观
简介...
近日,由中科院、北大、港科大等多所知名学术机构联合研发的 GitTaskBench 正式推出,标颠覆志着代码智能体实战交付的新标准时代的开启。
现有的评测体系往往侧重于代码生成与封闭题目,无法全面反映开代码发者在实际工作中遇到的诸多挑战,例如环境配置、依赖管理及跨仓库资源整合等。因此,GitTas智能kBench 不仅仅关注代码生成,更将整个开发流程纳入评测范围,首次实现了从仓库理解、环境配置体评、增量开发到项目级交付的全链路评测。
该评测工具的核心在于 “框架 × 模型” 的经济收益评估,不仅能测标为学术界和业界提供深刻启示,还为创业者指明了方向。其开源版本涵盖了7大模态、7个领域、24个子准!领域,以及54个真实任务,提供了真实的 GitHub 仓库作为测试基础。每个任务都附有详细的自然语言指令Gi和输入输出格式,并配备任务特定的自动化评测机制,确保评测的高效性与准确性。
在 GitTaskBenchtT 的测评框架中,整体编码能力、任务导向执行和自主环境配置三大维度被系统性分析。这一全新评测体系不仅提高as了代码智能体的评估标准,也为后续研究提供了宝贵的参考。
最令人振奋的是,GitTaskBench 引入kB了 “性价比” 这一概念,量化了任务完成的经济效益。通过结合任务完成率、市场价值和质量系数,研究者en能够更准确地评估代码智能体在不同领域的实际价值。这一创新为未来的代码智能体应用铺平了道路,显示出ch其在节约成本、提高效率方面的巨大潜力。
GitTaskBench 的发布将会为代码智能体的评测与应用开辟 开全新的局面,使其能够在实际工作中发挥更大的效用。
论文地址:https://arxiv.org/pdf/创全2508.18993
Tags:
相关文章
云安全日报210323:IBM运营管理系统发现执行任意代码漏洞,需要尽快升级
热点IBM Tivoli Netcool/OMNIbus是IBM公司运营管理软件,主要对业务应用、网络设备、Internet 协议和安全设备提供了集中式的管理。IBM Tivoli Netcool/OMN...
【热点】
阅读更多AI 深度伪造电话攻击激增,企业安全面临新挑战
热点根据最近的一项调查,62% 的网络安全负责人表示,在过去一年中,他们的员工遭遇了利用人工智能(AI)进行的攻击。这些攻击包括了提示注入攻击和伪造音频或视频内容。调查显示,深度伪造音频电话攻击是最常见的...
【热点】
阅读更多大数据与AI公司Databricks融资10亿美元 微软跟投
热点2月2日消息,据国外媒体报道,大数据与AI公司Databricks在官网宣布,他们完成了一轮10亿美元的融资,除了新的投资者,微软在此轮融资中也有跟投。 Databricks是当地时间周一,在官网宣布...
【热点】
阅读更多