TrajectoryCrafter 是腾讯PCG ARC Lab和香港中文大学推出的,用在单目视频的相机轨迹重定向方法,支持在后期自由调整视频的相机位置和角度,轻松改变视频中的运镜方式。TrajectoryCrafter基于解耦视图变换和内容生成,用双流条件视频扩散模型,将点云渲染和源视频作为条件,实现对用户指定相机轨迹的精确控制和高质量的 4D 内容生成。TrajectoryCrafte用创新的双重重投影策略和混合数据集(结合动态单目视频与静态多视角数据)训练模型,显著提升在多样化场景中的泛化能力。TrajectoryCrafter 在多视角和大规模单目视频数据集上表现出色,能生成高保真、与源视频一致的新型轨迹视频,为沉浸式视频体验提供新的可能性。

TrajectoryCrafter – 腾讯和港中文推出的单目视频自由运镜技术  第1张
(图片来源网络,侵删)
TrajectoryCrafter – 腾讯和港中文推出的单目视频自由运镜技术  第2张
(图片来源网络,侵删)