MobileLLM是Meta为移动设备用例优化设计的十亿参数以下的大型语言模型,能解决云成本上升和延迟问题。MobileLLM基于深薄架构、嵌入共享和分组查询注意力机制等设计,实现在参数少于十亿的情况下获得高质量的语言模型。MobileLLM-125M/350M在零样本常识推理任务上相比先前的模型显著提升准确率,且MobileLLM家族在聊天基准测试中显示出对小型模型的显著改进,在API调用任务中展示了与LLaMA-v2 7B相当的准确性,突显小模型在常见设备用例中的潜力。

MobileLLM – Meta推出的适合移动端的语言模型  第1张
(图片来源网络,侵删)
MobileLLM – Meta推出的适合移动端的语言模型  第2张
(图片来源网络,侵删)