Nemotron-Mini-4B-Instruct是英伟达推出的一款开源小型语言模型,专为角色扮演、检索增强生成(RAG)和函数调用任务优化。模型通过蒸馏、剪枝和量化技术优化,提高运行速度和设备端部署能力,具有较低的显存占用,能快速生成响应。模型基于 Transformer 解码器架构,支持4096个上下文窗口词元,适用于实时交互场景,如游戏内角色对话,提供更自然流畅的交流体验。

Nemotron-baidu09Mini-baidu094B-baidu09Instruct – 英伟达推出的开源小型语言模型  第1张
(图片来源网络,侵删)
Nemotron-baidu09Mini-baidu094B-baidu09Instruct – 英伟达推出的开源小型语言模型  第2张
(图片来源网络,侵删)