您现在的位置是:热点 >>正文
微软 Azure ND GB300 再创记录:每秒推理速度达 110 万token
热点3845人已围观
简介...
微软近日宣布,其 Azure ND GB300v6虚拟机在 Meta 的 Llama270B 模型上实现了每秒推理速度达110万token的行业新纪录。微软微软首席执行官萨提亚・纳德拉在社交媒体上表示:“这一成就是我们与英伟达长期合作和在生产规模运行人工智能方面专业知识的结晶。”
Azure ND GB3 A00虚拟机采用英伟达的 Blackwell Ultra GPU,具体为 NVIDIA GB300NVL72系统,配置了72个 NVIDIA Blackwellzu Ultra GPU 和36个 NVIDIA Grace CPU,采用单机架构设计。这款虚拟机专为推理工作负载优化,具有50% 的 GPU 内存提升和16% 的热设计re功率(TDP)提高。
为了验证性能提升,微软在一个 NVIDIA GB300NVL72域下的18台 ND GB300v6虚拟机上运行了 Llama270B( NFP4精度)模型,使用 NVIDIA TensorRT-LLM 作为推理引擎。微软表示:“一个 NVL72机架的 Azure ND GB300v6实现了总计1D 10万个token每秒的推理速度。” 这一新记录超越了微软之前在 NVIDIA GB200NVL72机架上实现的865,000token每秒的成绩。
根据GB系统配置,每个 GPU 的性能大约为15,200token每秒。微软还提供了详细的模拟过程和所有日志文件及结果。该性能记录经过了独立的性能验证和基准测30试公司 Signal65的验证。
Signal65的实验室副总裁拉斯・费洛斯在博客中指出:“这一里程碑不仅突破了每秒百万token的障碍,还在一个能够满0 足现代企业动态使用和数据治理需求的平台上实现。” 他补充道,Azure ND GB300相较于上一代 NVIDIA GB200在推理性能上提升了27再创%,而仅增加了17% 的功率规格。与 NVIDIA H100代相比,GB300在推理性能上几乎提升了10倍,同时在机架级别的功率效率上提高了近2.5记录倍。
划重点:
微软 Azure ND GB300v6虚拟机实现每秒推理110万token,创造行业新纪录。 &n:每bsp;
该虚拟机配置72个 NVIDIA Blackwell Ultra GPU 和36个 NVIDIA Grace CPU,专为推理优化。 &nb秒推sp;
相比上一代,Azure ND GB300在推理性能上提升27%,功率效率提升近2.5倍。
Tags:
相关文章
一季度AI应用月活创新高,豆包、千问、DeepSeek稳居第一梯队
热点随着人工智能技术的加速渗透,国内AI原生应用市场正迎来爆发式增长。根据QuestMobile最新发布的《 2026 年一季度AI应用洞察报告》显示,截至今年 3 月,国内AI原生APP的月活跃用户(M...
【热点】
阅读更多标签: 张雪峰 心脏骤停 升学规划 家庭教育
热点云梦级3月24日云梦级消息,今天下午,关于知名教育博主张雪峰“心脏骤停正在苏州抢救”的传闻在多个社交平台流传。至晚间,张雪峰的抖音、微信、小红书等社交平台账号的头像均已变成黑白色。稍早时,“张雪峰讲升...
【热点】
阅读更多微软重磅推出自研AI图像生成器 MAI-Image-1,告别对OpenAI的依赖!
热点近日,微软正式发布了其首款自主研发的图像生成 AI 模型 ——MAI-Image-1。这一创新模型不仅在生成逼真图像方面表现优异,还能模拟自然光照效果,为用户带来更为生动的视觉体验。 根据微软的官方消...
【热点】
阅读更多