AnchorCrafter是基于扩散模型的智能视频制作系统,用在自动生成具有高保真度的主播风格产品推广视频。基于整合人-物交互(HOI)到姿态引导的人体视频生成中,实现对物体外观和运动控制的高度还原,及对复杂人物-物体交互的管理。系统采用HOI-appearance perception和HOI-motion injection技术,及HOI-region reweighting loss训练目标,增强物体细节的学习,确保视频生成过程中人物外观和动作的一致性。AnchorCrafter在物体外观保持、交互感知以及视频质量方面优于现有方法,为在线广告和消费者参与提供了新的可能性。

AnchorCrafter – 中科院联合腾讯推出的AI虚拟主播带货视频制作技术  第1张
(图片来源网络,侵删)
AnchorCrafter – 中科院联合腾讯推出的AI虚拟主播带货视频制作技术  第2张
(图片来源网络,侵删)