XVERSE-MoE-A36B是由元象推出的中国最大的MoE(Mixture of Experts,混合专家模型)开源大模型。模型具有2550亿的总参数和360亿的激活参数,性能上与超过100B参数的大模型相媲美,实现跨级的性能跃升。相比于传统的稠密模型,XVERSE-MoE-A36B在训练时间上减少30%,推理性能提升100%,大幅降低每token的成本,使AI应用实现低成本部署。


XVERSE-MoE-A36B是由元象推出的中国最大的MoE(Mixture of Experts,混合专家模型)开源大模型。模型具有2550亿的总参数和360亿的激活参数,性能上与超过100B参数的大模型相媲美,实现跨级的性能跃升。相比于传统的稠密模型,XVERSE-MoE-A36B在训练时间上减少30%,推理性能提升100%,大幅降低每token的成本,使AI应用实现低成本部署。
全部评论
留言在赶来的路上...
发表评论