ExVideo是由阿里巴巴和华东师大的研究人员推出的一种视频合成模型的后调优技术,能够扩展现有视频合成模型的时间尺度,以生成更长和帧数更多的视频。该团队基于Stable Video Diffusion模型,训练了一个能够生成长达128帧连贯视频的扩展模型,同时保留了原始模型的生成能力。ExVideo通过优化3D卷积、时间注意力和位置嵌入等时间模块,使模型能够处理更长时间跨度的内容,在保持原始模型生成能力的同时,显著增加了视频帧数,且训练成本较低,特别适合计算资源有限的情况。

ExVideo – 阿里和华东师大推出的AI视频长度扩展调优技术  第1张
(图片来源网络,侵删)
ExVideo – 阿里和华东师大推出的AI视频长度扩展调优技术  第2张
(图片来源网络,侵删)