EX-4D是字节跳动(ByteDance)旗下Pico团队推出的新型4D框架,能从单目视频输入生成极端视角下的高质量4D视频。框架基于独特的深度防水网格(DW-Mesh)表示,显式建模可见和被遮挡区域,确保在极端相机姿态下保持几何一致性。框架用模拟遮挡掩码策略,基于单目视频生成有效的训练数据,用轻量级的LoRA基视频扩散适配器合成物理一致且时间连贯的视频。EX-4D在极端视角下的性能显著优于现有方法,为4D视频生成提供新的解决方案。

EX-baidu094D – 字节跳动Pico团队推出的4D视频生成框架  第1张
(图片来源网络,侵删)
EX-baidu094D – 字节跳动Pico团队推出的4D视频生成框架  第2张
(图片来源网络,侵删)