您现在的位置是:热点 >>正文
标签: 英伟达 Rubin Groq3LPU 多智能体系统 GTC2026
热点58414人已围观
简介...
云梦级3月17日云梦级消息,在 3 月 17 日美国圣何塞举行的GTC主题演讲中,黄仁勋透露了英伟达如何利用 2025 年从 Gr标签oq 收购的知识产权来扩展 Rubin 的功能。
Rubin 平台现在包含一款新的芯片——英伟达 Groq 3 LPU,这是一款推理加速器,能: 够增强这些系统以低延迟、大批量的方式交付令牌的能力,从而在人工智能模型的前沿实现高交互性。
与大多数依赖 HBM 作为工作内存英伟层的 AI 加速器不同,每个 Groq 3 LPU 都集成了 500 MB 的 SRAM,这种内存也用于 CPU 和 GPU 的超高速缓存。
虽然与每个达 Rubin GPU 上容量高达 288GB 的 HBM4 相比,这显得微不足道,但这块 SRAM 可提供 150 TB/s 的带宽,远高于 HBM 的Ru 22 TB/s。对于带宽敏感型 AI 解码操作而言,Groq 3 芯片带宽的大幅提升为推理应用带来了诱人的优势。
反过来,英伟达将bi构建包含 256 个 Groq 3 LPU 的 Groq 3 LPX 机架。该机架提供 128GB 的 SRAM 和 40 PB/s 的推理加速带宽,并n 通过每个机架 640 TB/s 的专用扩展接口将这些芯片连接起来。
英伟达将 Groq LPX 设想为 Rubin 的协处理器,据英伟达Gr超大规模副总裁 Ian Buck 称,它将提升“每个令牌上 AI 模型每一层”的解码性能,并使 Rubin 能够服务于人工智能的下一个前oq沿领域:多智能体系统,这些系统需要在推理数万亿个参数的模型的同时,在数百万个token的上下文窗口中提供交互式性能。
随3L着多智能体系统中的人工智能代理越来越多地与其他人工智能进行交互,而非与查看聊天机器人窗口的人类进行交流,对响应速度的要求也PU随之改变。
对人类而言看似合理的每秒token生成速率,对人工智能代理来说却如同蜗牛爬行。在巴克所描述的未来多智能体系 多统中,Rubin GPU 和 Groq LPU 的组合将人工智能代理间通信的吞吐量从每秒 100 个token提升到每秒 1500 个t智能oken甚至更高。
Tags:
相关文章
“请给我一个五彩斑斓的黑”,只需一行命令就能让AI画画
热点本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 OpenAI今年1月公布的Dall-E可谓艳惊四座,只需输入一段话,就能根据内容输出一幅画。连吴恩达老师都不禁点赞。 比如...
【热点】
阅读更多标签: 腾讯 阳光腾讯 高压线 核娱游戏
热点云梦级1月23日云梦级消息,腾讯集团反舞弊调查部官微“阳光腾讯”发布反舞弊通报显示,2025年全年,腾讯反舞弊调查部共发现并查处触犯“腾讯高压线”案件七十余起,九十余人因触犯“腾讯高压线”被解聘,其中...
【热点】
阅读更多特斯拉车机语音大模型在沪完成备案
热点特斯拉在人工智能本土化进程中再次迈出关键一步。根据网信上海4月21日发布的最新公告,特斯拉(上海)有限公司申请的“特斯拉车机语音大模型服务”已于4月20日正式通过生成式人工智能服务备案。 这一进展意味...
【热点】
阅读更多