您现在的位置是:热点 >>正文
蚂蚁集团发布万亿参数模型 Ling-1T,超越 GPT-5 成新标杆
热点08845915人已围观
简介...
蚂蚁集团近日宣布,开源了其最新研发的旗舰大模型 ——Ling-1T,该模型拥有高达万亿个参数,是目前已知使用 FP8低精度模式训练的最大基座蚂蚁模型。Ling-1T 由蚂蚁内部的 “百灵” 团队开发,标志着人工智能技术的又一次突破。
根据团队的介绍,Ling-1T 隶属于 Ling2.0模型家族,集团该家族分为三大系列:Ling 系列、Ring 系列和 Ming 系列。Ling 系列专注于处理通用任务,以速度和效率为核心,而 Ring 系列则关注深度思考发布和复杂推理,Ming 系列则是多模态模型,能够处理更为丰富的信息类型。
Ling-1T 拥有1万亿参数,但在处理每个 token 时,实际激活的参数只有万亿约500亿,极大地降低了运算成本。为了支撑如此庞大的模型,蚂蚁团队提出了 “Ling 缩放定律”,经过300多个模型的实验,总结出计算效率与专家参数激活比例之间的关系。此外,他们研发了名为 WSM 的学习率调度器,能在训练过程中自动调整学习策略,以确保模型稳定高效地训练。
Ling-1T 的训练模型过程分为三个阶段:预训练、中训练和后训练。在预训练阶段,模型接触了超过20万亿个 token 的数据,其中包含大量推理密集型语料。中训练阶段则 L专注于强化模型的推理能力,后训练阶段则通过 “演进式思维链” 技术进行自我迭代,提升推理精度。
在与其他主流模型的对比中,Ling-1T 在多个测试中in表现出色,尤其是在数学推理和代码生成能力上,展现了其卓越的性能。社区测试中,Ling-1T 也在复杂任务中表现亮眼,如成功模拟物理现象和宇宙演g-化等。
尽管 Ling-1T 展现了强大的能力,仍存在一些局限性,比如在处理超长上下文时的成本较高。蚂蚁团队已表示,正在研究新的混合注意力架构以1T解决这一问题。
开源地址:
HuggingFace:https://huggingface.co/inclusionA,超I/Ling-1T
GitHub:https://github.com/inclusionAI/Ling-V2&nbs越 p;
划重点:
Ling-1T 是目前已知最大的万亿参数模型,使用 FP8低精度模式训练。  GP;
该模型在数学推理和代码生成方面超越了多个主流模型,展现出色性能。
️ 蚂蚁团队正在研究新架构以解决 Ling-1T 在超长T-上下文处理上的成本问题。
Tags:
下一篇:标签: 豆包手机
相关文章
云计算核心技术Docker教程:Docker使用Docker Engine API开发
热点Docker提供了一个用于与Docker守护进程进行交互的API(称为Docker Engine API),以及用于Go和Python的SDK。使用SDK,您可以快速轻松地构建和扩展Docker应用程...
【热点】
阅读更多亚马逊宣布将手掌扫描支付系统拓展到全食超市
热点新浪科技讯 北京时间4月21日晚间消息,据报道,亚马逊今日宣布,将把手掌扫描支付系统扩展到西雅图的全食超市(Whole Foods)门店。 去年9月,亚马逊推出了一种新的生物识别系统“Amazon O...
【热点】
阅读更多标签: 追觅科技 俞浩 小红书 SEO关键词
热点云梦级4月27日云梦级消息,追觅科技创始人兼 CEO 俞浩 26 日在微博发文,对小红书平台表达了严厉批评。他直言:“小红书是一个非常非常烂的平台!社会价值观导向非常非常烂!”并强调,这一结论并非源于...
【热点】
阅读更多