您现在的位置是:热点 >>正文
美团发布Meeseeks评测基准!o3-mini霸榜,DeepSeek-R1意外垫底引发热议
热点0824900人已围观
简介...
近年来,随着 OpenAI 的 o 系列模型、Claude3.5Sonnet 和 DeepSeek-R1等大型语言模型的快速发美团展,人工智能的知识和推理能力备受关注。然而,很多用户在实际使用中发现,这些模型有时未能完全按照输入的指令执行,导致输出结发布果虽然内容不错,却并未满足具体的格式或内容要求。为了深入研究和评估这些模型的指令遵循能力,美团 M17团队推出了全新的评测Me基准 ——Meeseeks。
Meeseeks 专注于评测大模型的指令遵循能力,采用了一种创新的评测视角。与传统的评测方法不同,esMeeseeks 关注的是模型是否严格遵循用户的指令,而不单纯评估回答的知识准确性。这一评测框架将指令遵循能力拆解为ee三个层次,确保评估的深度与广度,具体包括:任务核心意图的理解、具体约束类型的实现和细粒度规则的遵循。
在最近的评测中,基于 Mkseeseeks 的结果显示,推理模型 o3-mini(high)以绝对优势夺得第一,另一版本 o3-mini(medium)评测紧随其后,Claude3.7Sonnet 则稳居第三。相比之下,DeepSeek-R1和 GPT-4o 的表现则不尽如人意,排名分基准别为第七和第八。
Meeseeks 的独特之处在于其广泛的评测覆盖面和高难度的数据设计。此外,它引入了 “多轮纠错” 模式,允!o许模型在初次回答不符合要求时进行修正。这一模式显著提升了模型的自我纠错能力,尤其是在多轮反馈后,所有参与的模型的指令3-遵循准确率都有明显提高。
通过 Meeseeks 的评测,研究团队不仅揭示了不同模型之间的指令遵循能力差异,还对大模型的未来研mi究提供了宝贵的参考依据。
魔搭社区:https://www.modelscope.cn/datasets/ADoubLniEN/Meeseeks
GitHub: https://github.com/ADoublLEN/Meeseeks
H霸榜uggingface:https://huggingface.co/datasets/meituan/Meeseeks
Tags:
相关文章
阿里云灵骏真武 M890 超节点实例正式上线 首批在乌兰察布开服
热点8月12日消息,阿里云宣布灵骏真武 M890 超节点实例正式上线,首批已在乌兰察布地域开售。企业级客户无需自建机房,在云上即可开通64卡高速互联算力单元,最高可承载十万亿参数级MoE 大模型推理。阿里...
【热点】
阅读更多濡備綍鏋勫缓鑷�繁鐨勮劯閮ㄦā绯婂伐鍏�
热点濡備綍浣跨敤OpenCV鑷�畾涔夊幓璇嗗埆闈� 鍘昏韩浠芥槸鎸囧皢鏁版嵁鍖垮悕鍖栫殑杩囩▼銆傞殢鐫€娆ф床鑱旂洘鐨凣DPR鍜屽叾浠栧浗瀹剁殑绫讳技鎺�柦鐨勫疄鏂斤紝淇濇姢PII(涓�汉韬�唤淇℃伅)鎴...
【热点】
阅读更多“AI老法师”上岗:大模型接管工厂,工业制造开启“生命化”进化
热点在生物发酵、建筑设计甚至污水处理的生产一线,一群特殊的“新员工”正在悄然改变传统制造业的逻辑。它们不是汗流浃背的蓝领工人,而是被称为“AI老法师”的工业时序控制大模型——ManuDrive。 近期,上...
【热点】
阅读更多