您现在的位置是:热点 >>正文
蚂蚁百灵推出开源高效思考模型,推理成本大幅降低
热点10921人已围观
简介...
蚂蚁百灵大模型团队近日宣布,正式开源两款全新的高效思考模型:Ring-flash-l蚂蚁inear-2.0和 Ring-mini-linear-2.0。这些模型专为提高深度推理效百灵率而设计,同时发布的还有两款自主研发的高性能融合算子,分别是 FP8融合算子和线性 Atte推出ntion 推理融合算子,旨在实现 “大参数、低激活” 的高效推理与超长上下文支持。
根据团队介开源绍,得益于架构的优化与高性能算子的协同工作,这两款新模型在深度推理场景下的成本仅为同等规模的密高效集模型的十分之一,而与之前的 Ring 系列相比,推理成本也降低了超过50%。这意味着,用户在进思考行复杂推理时,可以大幅降低计算资源的消耗,提升工作效率。
新模型的优势不仅在于成本的降低,模型另外一个重要因素是其训练与推理引擎算子的高度对齐。这种对齐允许模型在强化学习阶段进行长周期,推、稳定且高效的优化,使得这些模型在多个高难度推理榜单中持续保持最佳表现(SOTA)。这无疑为使理成用者在需要进行复杂推理任务时提供了更强大的工具。
作为开源项目,Ring-flash-l本大inear-2.0和 Ring-mini-linear-2.0已在多个平台上发布,包括 Hugg幅降ing Face 和 ModelScope。对此,开发者们可以在这些平台上获取更多信息并进行尝试蚂蚁。
随着这次开源,蚂蚁百灵大模型团队不仅展示了其在 AI 领域的技术实力,也为广大开发者提供了更百灵为高效的工具,助力他们在未来的 AI 开发与研究中取得更大的突破。
Tags:
相关文章
Spotify 的发现周刊充斥着 AI 音乐 用户怒斥 “垃圾”
热点随着 AI 技术的迅速发展,Spotify 用户正面临越来越多的烦恼。许多用户在社交媒体上表达了对 Spotify 发现周刊(Discover Weekly)中充斥 AI 生成音乐的不满。该功能每周一...
【热点】
阅读更多云计算核心技术Docker教程:Docker Hub覆盖构建和定制构建阶段挂钩
热点Docker Hub允许您 在使用钩子的自动构建和测试过程中覆盖和自定义build,test和push命令。例如,您可以使用构建挂钩来设置仅在构建过程中使用的构建参数。(您还可以设置自定义构建阶段挂钩...
【热点】
阅读更多云计算开发:Python3-List pop()方法详解
热点描述 Python pop() 函数用于移除列表中的一个元素(默认最后一个元素),并且返回该元素的值。 语法 以下是 pop() 方法语法: list.pop([index=-1]) 参数 index...
【热点】
阅读更多