BLIP3-o是Salesforce Research等机构推出的创新多模态模型，融合自回归模型的推理和指令遵循能力及扩散模型的强大生成能力。模型基于扩散语义丰富的CLIP图像特征，不依靠传统的VAE特征或原始像素，在图像理解和生成方面表现出色。BLIP3-o用一种顺序预训练策略，先进行图像理解训练，再进行图像生成训练，保留图像理解能力发展强大的图像生成能力。模型在多个图像理解和生成基准测试中取得优异的成绩，且完全开源，包括代码、模型权重、预训练和指令调整数据集。

BLIP3-baidu09o – Salesforce Research等机构推出的多模态模型 第1张
（图片来源网络，侵删）
BLIP3-baidu09o – Salesforce Research等机构推出的多模态模型 第2张
（图片来源网络，侵删）