ExVideo是由阿里巴巴和华东师大的研究人员推出的一种视频合成模型的后调优技术,能够扩展现有视频合成模型的时间尺度,以生成更长和帧数更多的视频。该团队基于Stable Video Diffusion模型,训练了一个能够生成长达128帧连贯视频的扩展模型,同时保留了原始模型的生成能力。ExVideo通过优化3D卷积、时间注意力和位置嵌入等时间模块,使模型能够处理更长时间跨度的内容,在保持原始模型生成能力的同时,显著增加了视频帧数,且训练成本较低,特别适合计算资源有限的情况。


ExVideo是由阿里巴巴和华东师大的研究人员推出的一种视频合成模型的后调优技术,能够扩展现有视频合成模型的时间尺度,以生成更长和帧数更多的视频。该团队基于Stable Video Diffusion模型,训练了一个能够生成长达128帧连贯视频的扩展模型,同时保留了原始模型的生成能力。ExVideo通过优化3D卷积、时间注意力和位置嵌入等时间模块,使模型能够处理更长时间跨度的内容,在保持原始模型生成能力的同时,显著增加了视频帧数,且训练成本较低,特别适合计算资源有限的情况。
全部评论
留言在赶来的路上...
发表评论