MT-MegatronLM 是摩尔线程推出的面向全功能 GPU 的开源混合并行训练框架，主要用于高效训练大规模语言模型。支持 dense 模型、多模态模型及 MoE（混合专家）模型的训练。框架基于全功能 GPU 支持 FP8 混合精度策略、高性能算子库和集合通信库，显著提升了 GPU 集群的算力利用率。通过模型并行、数据并行和流水线并行等技术，实现了高效的分布式训练，支持混合精度训练以减少内存占用和加速计算。

MT-baidu09MegatronLM – 摩尔线程开源的混合并行训练框架 第1张
（图片来源网络，侵删）
MT-baidu09MegatronLM – 摩尔线程开源的混合并行训练框架 第2张
（图片来源网络，侵删）