Llama 4 是 Meta 开源的多模态系列AI模型。首次采用混合专家（MoE）架构，在训练和推理时计算效率更高。Llama 4 目前有 Scout 和 Maverick 两个版本。Scout 有 170 亿个活跃参数、16 个 “专家” 模型、1090 亿个总参数，支持 1000 万上下文，可处理 20 多小时视频，在单个 H100 GPU 上就能运行，性能超越 等模型。Maverick 有 170 亿个活跃参数，128 个 “专家” 模型，4000 亿总参数，在图像精准理解和创意写作方面表现突出，适合通用助手、聊天类应用，在大模型 LMSYS 排行榜上位居第二。Llama 4 Behemoth 为预览版本，还在训练中，拥有2 万亿参数在 STEM 基准测试中表现优异。Llama 4 通过在 200 种语言上预训练支持开源微调，训练数据超 30 万亿个 token。

Llama 4 – Meta 开源的多模态系列AI模型，重夺开源王座 第1张
（图片来源网络，侵删）