Ola是清华大学、腾讯 Hunyuan 研究团队和新加坡国立大学 S-Lab 合作开发的全模态语言模型。通过渐进式模态对齐策略，逐步扩展语言模型支持的模态，从图像和文本开始，再引入语音和视频数据，实现对多种模态的理解。Ola 的架构支持全模态输入，包括文本、图像、视频和音频，能同时处理这些输入。Ola 设计了逐句解码方案用于流式语音生成，提升交互体验。

Ola – 清华联合腾讯等推出的全模态语言模型 第1张
（图片来源网络，侵删）
Ola – 清华联合腾讯等推出的全模态语言模型 第2张
（图片来源网络，侵删）