VACE(Video Creation and Editing)是阿里巴巴通义实验室推出的一站式与编辑框架。基于整合多种视频任务(如参考视频生成、视频到视频编辑、遮罩编辑等)到一个统一模型中,实现高效的内容创作和编辑功能。VACE的核心在于Video Condition Unit(VCU),将文本、图像、视频和遮罩等多种模态输入整合为统一的条件单元,支持多种任务的灵活组合。开源的 Wan2.1-VACE-1.3B 支持 480P 分辨率,Wan2.1-VACE-14B 支持 480P 和 720P 分辨率。实验表明,VACE在多种任务上达到与特定任务模型相当的性能,提供更广泛的应用可能性,为视频内容创作开辟新的路径。

VACE – 阿里通义推出的视频生成与编辑框架  第1张
(图片来源网络,侵删)
VACE – 阿里通义推出的视频生成与编辑框架  第2张
(图片来源网络,侵删)