Mini-InternVL是“迷你版”书生·万象大模型,是上海AI实验室与清华大学、南京大学等机构联合推出的轻量级多模态大型语言模型系列,包含1B、2B和4B三个参数版本,用较小的参数量实现较高的性能,其中Mini-InternVL-4B仅用5%的参数量达到InternVL2-76B约九成的性能。Mini-InternVL用InternViT-300M作为视觉编码器,与不同的预训练语言模型结合,基于动态分辨率输入策略和像素洗牌操作来减少视觉标记数量,提高处理效率。Mini-InternVL在多个一般多模态基准测试中表现出色,且能用简单的转移学习框架适应特定领域的下游任务。


全部评论
留言在赶来的路上...
发表评论