HMoE（混合异构专家模型）是腾讯混元团队提出的新型神经网络架构，旨在提升大型语言模型的性能和计算效率。通过引入不同尺寸的专家来处理不同复杂性的输入数据，从而增强模型的专业化程度。HMoE采用新的训练目标和策略，如P-Penalty Loss，鼓励频繁激活更小的专家，以提高参数利用率和计算效率。实验证明，HMoE在多个预训练评估基准上性能卓越，为大模型研究提供了新方向。

HMoE – 腾讯混元团队提出的新型神经网络架构 第1张
（图片来源网络，侵删）
HMoE – 腾讯混元团队提出的新型神经网络架构 第2张
（图片来源网络，侵删）