COMET是字节跳动推出的针对Mixture-of-Experts（MoE）模型的优化系统，能解决分布式训练中通信开销过大的问题。基于细粒度的计算-通信重叠技术，COMET将通信与计算操作深度融合，消除传统方法中因粒度不匹配导致的资源浪费和延迟。COMET引入共享张量依赖解析和自适应负载分配两大机制，动态调整资源分配，实现高效的通信隐藏和计算优化。在大规模生产环境中，COMET显著提升了MoE模型的训练效率，单层加速可达1.96倍，端到端加速1.71倍，已累计节省数百万GPU小时。COMET的核心代码已开源，支持主流大模型和多种并行策略，能无缝集成到现有训练框架中。

COMET – 字节开源的通信优化系统 第1张
（图片来源网络，侵删）