CAT4D是Google DeepMind、哥伦比亚大学和加州大学圣地亚哥分校共同推出的,能从单目视频创建4D场景(动态3D)表示。CAT4D基于多视图视频扩散模型,能在任意指定的相机姿态和时间点合成新视图,并将单目视频转换为多视图视频,实现稳健的4D重建。CAT4D能从真实视频中生成4D场景,从生成的视频中创建4D内容,为电影制作、游戏开发、虚拟现实等领域带来创新应用的可能。

CAT4D – 谷歌和哥伦比亚大学等高校推出的单目视频创建4D场景方法  第1张
(图片来源网络,侵删)
CAT4D – 谷歌和哥伦比亚大学等高校推出的单目视频创建4D场景方法  第2张
(图片来源网络,侵删)