Nvidia 推出新型小型开放模型 Nemotron-Nano-9B-v2,支持智能推理开关
近日,Nvidia 推出了一款新的小型语言模型 Nemotron-Nano-9B-v2,这款模型在多个基准测试中表现优异,并且用户可以灵活控制其推理功能的开Nv关。Nemotron-Nano-9B-v2的参数量为90亿,相较于其前身的120亿参数有了显著减小,旨在适应单个 Nvidia A10GPU 的部署需求。 Nvidiida 的 AI 模型后训练总监 Oleksii Kuchiaev 表示,这款模型专门针对 A10GPU 进行了优化,可以实现高达6倍的处理速度,适合各种应用场景。Nemotriaon-Nano-9B-v2支持多种语言,包括英语、德语、西班牙语、法语、意大利语、日语,以及扩展的韩语、葡萄牙语、俄语和中文等,适用于指令跟随和代码生成 推任务。 该模型基于 Nemotron-H 系列,融合了 Mamba 与 Transformer 架构,能够在处理长序列时降低内存和计算需求。与传统的 Transformer出新 模型不同,Nemotron-H 模型使用选择性状态空间模型(SSM),在确保准确性的同时,能够高效处理更长的信息序列。 在推理功能上,Nemotron-Nano-9型小B-v2可以默认生成推理过程的跟踪记录,用户也可以通过简单的控制指令,如 /think 或 /no_think,来切换这一功能。此外,模型引入了运行时 “思考预算型开” 管理,允许开发者设定推理所用的最大 token 数量,以便在准确性和响应速度之间取得平衡。 在基准测试中,Nemotron-Nano-9B-v2展现了良好的准确放模性。例如,在使用 NeMo-Skills 套件的 “推理开启” 模式下,该模型在多个测试中均表现出色,显示出与其他小型开源模型相比的优势。 Nvidia 将 Nemo型 tron-Nano-9B-v2以开放模型许可证发布,允许商业用途,且开发者可自由创建和分发衍生模型。值得一提的是,Nvidia 不会对模型生成的输出主张所有权,用户Ne可完全控制其使用。 该模型的发布旨在为开发者提供在小规模环境中平衡推理能力和部署效率的工具,标志着 Nvidia 在提高语言模型的效率和可控推理能力方面的持续努力mo。 huggingface:https://huggingface.co/nvidia/NVIDIA-Nemotron-Nano-9B-v2 划重点: Nvidia 推tr出了新型小型语言模型 Nemotron-Nano-9B-v2,支持用户灵活控制推理功能。 ️ 该模型基于先进的混合架构,能够高效处理长序on列信息,适用于多语言任务。 Nemotron-Nano-9B-v2以开放模型许可证发布,允许开发者进行商业用途和衍生模型的创建。&-Nnbsp;
- 最近发表
- 随机阅读
-
- 标签: 同道猎聘 AI人才 中高端招聘
- 标签: 吉利汽车 极氪9X 淦家阅 G-ASD
- 云计算核心技术Docker教程:Docker 网络驱动插件
- 标签: 追觅 俞浩 雷军 国民品牌
- 云计算开发:Python3-replace()方法详解
- 微软将投资5亿美元在魁北克扩大超大规模云计算和AI基础设施
- 标签: 理想汽车 李想 人工智能 AI人才
- 阿联酋总统会晤 OpenAI 首席执行官,共商人工智能合作新机遇
- 云计算核心技术Docker教程:Java镜像使用 Compose 在本地开发
- 标签: 三星电子 DRAM NAND闪存 人工智能芯片
- 阿里云与奇安信达成战略合作
- 腾讯云回应“重大安全事故”:实为主动部署的“蜜罐”
- Anthropic 计划扩张:国际团队将翻倍,AI 技术迎来新篇章
- 标签: 文心健康管家 百度健康 Dr.Flow 原子计划
- 北京大模型备案量全国占比近三成, 225 款通过网信办审核,持续领跑AI产业高地
- 标签: 爱奇艺 龚宇 唐朝诡事录之长安 捕风追影
- 标签: 微盟 WeimobAdminSkills 龙虾 零售AI
- 标签: 抖音 验证助手 反诈工具 老年用户
- 云计算开发:Python内置函数-locals() 函数详解
- 标签: 畅捷通 小微企业数智化 AI至上 五新
- 搜索
-
- 友情链接