Boximator是由字节跳动的研究团队开发的一种视频合成技术,旨在生成丰富且可控的运动,以增强视频合成的质量和可控性。该技术通过引入两种类型的约束框(硬框和软框)来实现对视频中对象位置、形状或运动路径的精细控制。

Boximator的工作原理基于视频扩散模型,它通过引入一种新的控制机制来增强视频合成的精细度和可控性。以下是Boximator工作原理的关键步骤:

通过这些步骤,Boximator能够在视频合成过程中实现对对象运动的精细控制,同时保持视频的高质量和逼真度。

Boximator – 字节推出的控制视频生成中对象运动的框架  第1张
(图片来源网络,侵删)
Boximator – 字节推出的控制视频生成中对象运动的框架  第2张
(图片来源网络,侵删)