INFP是音频驱动的头部生成框架,专为双人对话交互设计。能自动在对话音频引导下进行角色的转换,无需手动分配角色和角色切换。INFP包括两个阶段:基于动作头部模仿阶段和音频引导动作生成阶段,通过实验和可视化展示,验证了INFP方法的卓越性能和有效性。INFP提出了大规模双人对话数据集DyConv,以支持该研究领域的进步。

INFP – 音频驱动的生成逼真面部表情和头部姿态的AI框架  第1张
(图片来源网络,侵删)
INFP – 音频驱动的生成逼真面部表情和头部姿态的AI框架  第2张
(图片来源网络,侵删)