X-Dyna 是基于扩散模型的动画生成框架,基于驱动视频中的面部表情和身体动作,将单张人类图像动画化,生成具有真实感和环境感知能力的动态效果。核心是 Dynamics-Adapter 模块,能将参考图像的外观信息有效地整合到扩散模型的空间注意力中,同时保留运动模块生成流畅和复杂动态细节的能力。

X-baidu09Dyna – 字节联合斯坦福等高校推出的动画生成框架  第1张
(图片来源网络,侵删)
X-baidu09Dyna – 字节联合斯坦福等高校推出的动画生成框架  第2张
(图片来源网络,侵删)