MOFA-Video是由腾讯AI实验室和东京大学的研究人员开源的一个可控性的图像生成视频的模型,该技术利用生成运动场适应器对图像进行动画处理以生成视频。MOFA-Video能够在预训练的Stable Video Diffusion模型基础上,通过稀疏控制信号如手动轨迹、面部标记序列或音频等,实现对视频生成过程中动作的精细控制。MOFA-Video不仅能够单独使用这些控制信号,还能将它们组合使用,以零样本(zero-shot)的方式进行更复杂的动画制作,提供了一种全新的、高度可控的图像动画视频解决方案。

MOFA-baidu09Video – 腾讯开源的可控性AI图生视频模型  第1张
(图片来源网络,侵删)
MOFA-baidu09Video – 腾讯开源的可控性AI图生视频模型  第2张
(图片来源网络,侵删)