Transfusion是Meta公司最新推出的文本与图像融合的多模态AI模型,Transfusion通过结合语言模型的下一个token预测和扩散模型,在单一变换器上处理混合模态数据,如文本和图像。Transfusion模型能同时生成文本和图像,无需量化图像信息。Transfusion模型在预训练阶段使用了大量文本和图像数据,展现出在多种基准测试中的高效扩展性和优越性能。Transfusion还支持图像编辑功能,能根据指令对图像进行精确修改,多模态AI模型在理解和生成丰富内容方面有新的突破。

Transfusion – Meta推出的文本与图像融合的多模态AI模型  第1张
(图片来源网络,侵删)
Transfusion – Meta推出的文本与图像融合的多模态AI模型  第2张
(图片来源网络,侵删)