DoraCycle 是新加坡国立大学 Show Lab 推出多模态领域适应的统一生成模型,通过两个多模态循环(text-to-image-to-text 和 image-to-text-to-image)实现不同模态间的信息转换与对齐,基于统一生成模型学习的双向映射,以非配对数据进行领域适配训练,无需大量标注数据。模型通过循环端点的交叉熵损失优化,促进自我进化,适应特定领域。

DoraCycle – 新加坡国立大学推出多模态领域适应的统一生成模型  第1张
(图片来源网络,侵删)
DoraCycle – 新加坡国立大学推出多模态领域适应的统一生成模型  第2张
(图片来源网络,侵删)