Motion Prompting是 Google DeepMind、密歇根大学和布朗大学联合推出的视频生成技术,基于运动轨迹(motion trajectories)控制和引导视频内容的生成。Motion Prompting用点轨迹作为灵活的运动表示,能编码从单个点到全局场景的任意复杂度的运动。用户能设计“运动提示”(motion prompts),类似于文本提示,激发视频模型的不同能力,包括对象控制、相机控制、物理现象模拟等。Motion Prompting提高了视频生成的灵活性和准确性,为未来交互式视频生成和世界模型查询提供新的可能性。

Motion Prompting – 谷歌联合密歇根和布朗大学推出的运动轨迹控制视频生成模型  第1张
(图片来源网络,侵删)