SVFR(Stable Video Face Restoration)是腾讯优图实验室和厦门大学联合推出的用于广义视频人脸修复的统一框架,整合了视频人脸修复(BFR)、着色和修复任务,基于Stable Video Diffusion(SVD)的生成和运动先验,通过统一的人脸修复框架整合特定于任务的信息。SVFR引入了可学习的任务嵌入以增强任务识别,同时采用了一种新颖的统一潜在正则化(ULR)来鼓励不同子任务之间的共享特征表示学习。为了进一步提高恢复质量和时间稳定性,还引入了面部先验学习和自参考细化作为用于训练和推理的辅助策略。

SVFR – 腾讯优图联合厦门大学推出的通用视频人脸修复统一框架  第1张
(图片来源网络,侵删)
SVFR – 腾讯优图联合厦门大学推出的通用视频人脸修复统一框架  第2张
(图片来源网络,侵删)