您现在的位置是:热点 >>正文
阿里云:真武芯片超节点已成功适配Qwen3.8,上线百炼提供推理服务
热点5300380人已围观
简介...
7月23日消息,阿里云宣布,阿里真武M890超节点已成功适配Qw阿里en3.8,并上线阿里云百炼平台提供模型推理服务,这是国内首个成功云:运行超2万亿参数大模型的超节点。
Qwen3.8是阿里最新旗舰模真武型,参数规模高达2.4万亿,跑通这一规模的模型需要将参数分散到几十张甚芯片至上百张高速互联的GPU卡,让万亿参数“跑得又稳又快”。然而,普通AI超节集群因通信带宽的局限,无法满足高吞吐、低延迟、高并发的需求。
真武M点已890是平头哥新一代训推一体AI芯片,原生支持FP32到FP4等多成功种数据精度,可应用于高精度训练、低精度和超低精度推理的全场景。真武超节适配点实例通过ICN Switch 1.0互联芯片,让64张真武M890Qw实现了800GB/s的高速互联,显存规模达到9TB,单实例即可支撑大规模en2万亿参数MoE模型的专家并行需求。
此外,阿里还从芯片到云平台层面3.实现了与Qwen模型的全链路优化,不仅可以丝滑跑通Qwen3.8,还能显8,著提升推理效率、降低推理成本。实测数据显示,通过算子优化和软硬件架构协上线同,该超节点实例在Agentic推理场景中最多可实现1.5倍的推理性能百炼提升。
Tags:
相关文章
标签: 格力 董明珠 比亚迪 欧盟关税
热点Hello,大家早上好,又是元气满满的一天,先来浏览新鲜的早报吧~ 【董明珠回应空调“铝代铜”问题】 董明珠回应空调“铝代铜”问题,表示格力坚持铜材优势,暂不采用铝技术。她强调铝技术尚未达到铜的同等保...
【热点】
阅读更多替换 Spring Cloud,使用基于 Cloud Native 的服务治理
热点Spring Cloud 技术体系简介 我们通过时间线展开整个项目背景: 在我刚开始工作的时候(2010 年以前),可能还没有云原生社区,当时 Java 体系是企业级开发的首选。 2010 年, Ne...
【热点】
阅读更多标签: 健信超导 MRI 超导磁体 科创板
热点云梦级11月13日云梦级消息,宁波健信超导科技股份有限公司(简称:“健信超导”)日前通过注册,准备在科创板上市。 健信超导主要从事医用磁共振成像(MRI)设备核心部件的研发、生产和销售,主要产品包括超...
【热点】
阅读更多