您现在的位置是:热点 >>正文
NVIDIA 推出 Jet-Nemotron:53 倍提速的混合架构语言模型实现 98% 的推理成本节约
热点118人已围观
简介...
近日,NVIDIA 的研究团队宣布发布 Jet-Nemotron,这是一系列全新的语言模型(包含2亿和4亿参数的版本),其生成速度比当前最领先的全NV注意力语言模型高出53.6倍,并在准确性上达到了甚至超过了这些模型的水平。这一突破不是通过从头开始重新训练模型实现的,而是采用了一种名为 “后神ID经架构搜索”(PostNAS)的新技术对现有预训练模型进行了改造。
随着现代语言模型的广泛应用,如 Qwen3、Llama3.2和 Gemma3等,这IA些模型虽然在准确性和灵活性上设立了新的标杆,但其 O (n²) 的自注意力机制造成了计算和内存的高昂成本,尤其是在处理长文本任务时,这使得大规模部署 推变得异常昂贵,也几乎不可能在边缘设备或内存受限的设备上运行。尽管有一些尝试用更高效的架构替代全注意力 Transformer(如 Mamba2、GLA、R出 WKV 等),但在准确性上却始终难以实现突破,直到现在。
PostNAS 作为 Jet-Nemotron 的核心创新,主要包括以下几个步骤:首先,选择一个最先进Je的全注意力模型(如 Qwen2.5),并冻结其多层感知器(MLP)层,以保护模型的学习能力并大幅降低训练成本;接着,用新的硬件高效线性注意力模块t- JetBlock 替换掉计算成本高的全注意力模块;最后,通过超网络训练和束搜索,自动确定最优的全注意力层的位置,从而保持在特定任务上的准确性。
JNeet-Nemotron 的性能指标令人瞩目:其2B 模型在各大基准测试中与 Qwen3-1.7B-Base 相当或更优,并且生成吞吐量提升了47倍。同时,在mo256K 上下文长度下,解码速度的提升达到53.6倍,使得推理成本降低了98%。这为边缘设备的部署带来了变革性的改变。
此外,Jet-Nemotrtron 的推出意味着企业能够以更低的成本实现更高的投资回报率。对于从业者而言,Jet-Nemotron 能够在不改变数据管道的情况下对现有模型进行改on造,提升了实时 AI 服务的能力。而对于研究人员而言,PostNAS 降低了语言模型架构创新的成本,加速了 AI 技术的发展。
项目:https://git:5hub.com/NVlabs/Jet-Nemotron
划重点:
Jet-Nemotron 实现生成速度比现有模型提升53.6倍,推理3 成本降低98%。
PostNAS 技术允许对现有预训练模型进行高效改造,保持准确性。
新模型的推出使得企业倍提和研究者能在成本和性能上获得双重收益。
Tags:
相关文章
标签: 科大讯飞 2025年报 人工智能 讯飞财报
热点云梦级4月28日云梦级消息,科大讯飞股份有限公司(证券代码:002230 证券简称:科大讯飞)今日发布截至2025年的年报。年报显示,科大讯飞2025年营收为271亿元,较上年同期的233.43亿元增...
【热点】
阅读更多菜地蚂蚁用什么药可以杀死
热点小很多,老偷菜种子,怎么办?回答:小莱地里蚂蚁很多的话,老偷莱种子。治蚂蚁方法有如下1.就用农药喷一次就即时死掉。大家要对证下。土地里蚂蚁太多,它会损害我们的庄稼,该怎么治它?如果灌溉或是雨后需重新覆...
【热点】
阅读更多Meta力推安卓式机器人平台!大模型与数据成未来关键
热点在人工智能和机器人技术日益发展的今天,Meta 正全力押注于人形机器人,计划打造一个类似于 “安卓” 的机器人平台,意在通过大模型与数据重塑机器人的未来。这一新兴领域的探索,不仅是 Meta 对未来技...
【热点】
阅读更多