TANGO 是一个由东京大学和 CyberAgent AI Lab 共同推出的开源框架,专注于生成与目标语音同步的全身手势视频。基于分层音频运动嵌入和扩散插值网络,将目标语音音频与参考视频库中的动作完美匹配,确保制作出高保真度、动作同步的视频。TANGO 技术突破极大地降低视频内容制作的成本,包含新闻播报、虚拟人解说和虚拟 YouTube 内容创作等领域,为用户提供一种高效且经济的解决方案。

TANGO – 东京大学和CyberAgent AI Lab推出声音驱动全身手势视频生成框架  第1张
(图片来源网络,侵删)
TANGO – 东京大学和CyberAgent AI Lab推出声音驱动全身手势视频生成框架  第2张
(图片来源网络,侵删)