MotionCanvas是香港中文大学、Adobe 研究院和莫纳什大学推出的图像到视频(I2V)生成方法,能将静态图像转化为具有丰富动态效果的视频。MotionCanvas基于引入运动设计模块,让用户能直观地在图像上规划相机运动和物体运动,实现复杂的镜头设计。借助运动信号转换模块,MotionCanvas将用户在3D场景空间中的运动意图准确翻译为2D屏幕空间的控制信号,驱动视频扩散模型生成高质量视频。MotionCanvas支持联合控制相机和物体运动,生成具有复杂轨迹的长视频,实现物体局部运动的精细控制。

MotionCanvas – 港中文和 Adobe 等机构推出的可控图像到视频生成方法  第1张
(图片来源网络,侵删)
MotionCanvas – 港中文和 Adobe 等机构推出的可控图像到视频生成方法  第2张
(图片来源网络,侵删)