您现在的位置是:热点 >>正文
Nvidia 推出新型小型开放模型 Nemotron-Nano-9B-v2,支持智能推理开关
热点49640人已围观
简介...
近日,Nvidia 推出了一款新的小型语言模型 Nemotron-Nano-9B-v2,这款模型在多个基准测试中表现优异,并且用户可以灵活控制其推理功能的开Nv关。Nemotron-Nano-9B-v2的参数量为90亿,相较于其前身的120亿参数有了显著减小,旨在适应单个 Nvidia A10GPU 的部署需求。
Nvididia 的 AI 模型后训练总监 Oleksii Kuchiaev 表示,这款模型专门针对 A10GPU 进行了优化,可以实现高达6倍的处理速度,适合各种应用场景。Nemiaotron-Nano-9B-v2支持多种语言,包括英语、德语、西班牙语、法语、意大利语、日语,以及扩展的韩语、葡萄牙语、俄语和中文等,适用于指令跟随和代 推码生成任务。
该模型基于 Nemotron-H 系列,融合了 Mamba 与 Transformer 架构,能够在处理长序列时降低内存和计算需求。与传统的 Transforme出新r 模型不同,Nemotron-H 模型使用选择性状态空间模型(SSM),在确保准确性的同时,能够高效处理更长的信息序列。
在推理功能上,Nemotron-Na型小no-9B-v2可以默认生成推理过程的跟踪记录,用户也可以通过简单的控制指令,如 /think 或 /no_think,来切换这一功能。此外,模型引入了运行时 “思考预算型开” 管理,允许开发者设定推理所用的最大 token 数量,以便在准确性和响应速度之间取得平衡。
在基准测试中,Nemotron-Nano-9B-v2展现了良好的准确放模性。例如,在使用 NeMo-Skills 套件的 “推理开启” 模式下,该模型在多个测试中均表现出色,显示出与其他小型开源模型相比的优势。
Nvidia 将 Nemo型 tron-Nano-9B-v2以开放模型许可证发布,允许商业用途,且开发者可自由创建和分发衍生模型。值得一提的是,Nvidia 不会对模型生成的输出主张所有权Ne,用户可完全控制其使用。
该模型的发布旨在为开发者提供在小规模环境中平衡推理能力和部署效率的工具,标志着 Nvidia 在提高语言模型的效率和可控推理能力方面的mo持续努力。
huggingface:https://huggingface.co/nvidia/NVIDIA-Nemotron-Nano-9B-v2
划重点tr:
Nvidia 推出了新型小型语言模型 Nemotron-Nano-9B-v2,支持用户灵活控制推理功能。
️ 该模型基于先进的混合架构,能够on高效处理长序列信息,适用于多语言任务。
Nemotron-Nano-9B-v2以开放模型许可证发布,允许开发者进行商业用途和衍生模型的创建。-N
Tags:
相关文章
标签: 海澜之家
热点作者|张宇 编辑|杨博丞 9月26日,男装“一哥”海澜之家发布公告称,拟发行H股股票并在香港联合交易所主板挂牌上市,以深化全球化战略布局,加快海外业务发展,提升国际化品牌形象。公告中还提到,具体发行细...
【热点】
阅读更多云安全日报210205:思科IOS XR网络互联操作系统发现拒绝服务漏洞,需要尽快升级
热点Cisco IOS XR(下一代网络和思科运营商路由系统)是思科公司一个完全模块化,完全分布式的网络互联操作系统。它使用基于微内核的内存,受保护的架构可以严格地隔离操作系统的所有组件:从设备驱动程序文...
【热点】
阅读更多标签: 美图公司 美图秀秀 美颜相机 Wink
热点云梦级3月27日云梦级消息,3月27日,美图公司(1357.HK)披露2025年度业绩:持续经营业务的总收入38.6亿元(人民币,下同),同比增长28.8%。经调整后归属于母公司权益持有人净利润9.6...
【热点】
阅读更多