RelightVid是上海 AI Lab、复旦大学、上海交通大学、浙江大学、斯坦福大学和香港中文大学推出用在视频重照明的时序一致性扩散模型,支持根据文本提示、背景视频或HDR环境贴图对输入视频进行细粒度和一致的场景编辑,支持全场景重照明和前景保留重照明。模型基于自定义的增强管道生成高质量的视频重照明数据对,结合真实视频和3D渲染数据,在预训练的图像照明编辑扩散框架(IC-Light)基础上,插入可训练的时序层增强视频重照明的效果。RelightVid在保持时序一致性和照明细节方面具有显著优势,为视频编辑和生成领域提供新的可能性。

RelightVid – 上海 AI Lab联合复旦等高校推出的视频重照明模型  第1张
(图片来源网络,侵删)
RelightVid – 上海 AI Lab联合复旦等高校推出的视频重照明模型  第2张
(图片来源网络,侵删)