Magic 1-For-1是北京大学、Hedra Inc. 和 Nvidia 推出的高效模型,基于优化内存消耗和推理延迟快速生成高质量视频片段。模型将复杂的文本到视频生成任务分解为两个更简单的子任务:和图像到视频生成。基于这种方式,Magic 1-For-1用扩散步骤蒸馏技术,显著加速模型的收敛速度,基于多模态输入(结合文本和视觉信息)进一步提升生成视频的质量和语义一致性。Magic 1-For-1采用模型量化技术,将模型大小从32GB压缩到16GB,能在消费级GPU上高效运行。

Magic 1-baidu09For-baidu091 – 北大、英伟达等推出的高效视频生成模型  第1张
(图片来源网络,侵删)
Magic 1-baidu09For-baidu091 – 北大、英伟达等推出的高效视频生成模型  第2张
(图片来源网络,侵删)