Matrix3D 是南京大学、苹果公司和香港科技大学合作推出的新型的统一摄影测量模型，能在一个模型中完成多个摄影测量子任务，包括姿态估计、深度预测和新视图合成。Matrix3D 的核心是多模态扩散变换器（DiT），通过整合图像、相机参数和深度图等多种模态的数据，实现灵活的任务处理。 Matrix3D 的训练采用了掩码学习策略，在部分数据缺失的情况下，也能基于双模态数据（如图像-姿态或图像-深度对）进行全模态训练，显著增加了可用的训练数据量。Matrix3D 支持多轮交互，用户可以通过逐步输入信息来优化生成结果，在 3D 内容创作中具有很强的灵活性。

Matrix3D – 南大联合Apple、港科大推出的统一摄影测量模型 第1张
（图片来源网络，侵删）
Matrix3D – 南大联合Apple、港科大推出的统一摄影测量模型 第2张
（图片来源网络，侵删）