Ministral 3B和8B是由Mistral AI推出的两款新型AI小模型,专为设备端计算和边缘使用场景设计。在知识、常识、推理、功能调用和效率方面为10亿参数以下的类别设定新的标准。Ministral 3B和8B支持高达128k的上下文长度,其中8B模型基于特殊的交错滑动窗口注意力模式,实现更快和更高效的推理。模型能用在设备端翻译、无需互联网的智能助手、本地分析和自主机器人等应用,和更大的语言模型配合使用,作为多步骤工作流程中的高效中介。Ministral 3B和8B的API定价分别为每百万输入/输出令牌0.04美元和0.10美元,提供私有部署和无损量化支持。

Ministral 3B 8B – Mistral AI推出的两款新型AI小模型  第1张
(图片来源网络,侵删)
Ministral 3B 8B – Mistral AI推出的两款新型AI小模型  第2张
(图片来源网络,侵删)