Prometheus是创新的3D感知潜在扩散模型，专门用于快速生成文本到3D场景的内容。能在几秒钟内完成对象和场景级别的3D生成，同时保持高质量的输出和良好的泛化能力。核心在于基于2D先验知识来驱动高效且可泛化的3D合成过程。通过将3D场景生成表述为多视图、前馈、像素对齐的3D高斯生成过程，在潜在扩散范式内进行操作，Prometheus能有效地从文本描述中生成具有丰富细节和准确几何结构的3D场景。基于预训练的文本到图像生成模型进行微调，引入RGB-D潜在空间来解耦外观和几何信息，提升生成的保真度和几何质量。
ReCamMaster 是浙江大学、快手科技等联合推出的视频重渲染框架，能根据新的相机轨迹重新生成视频内容。通过预训练模型和帧维度条件机制，结合多相机同步数据集和相机姿态条件，实现视频视角、运动轨迹的灵活调整。...
OmniThink是浙江大学和阿里巴巴通义实验室联合开发的创新的机器写作框架，通过模拟人类的迭代扩展和反思过程，突破大型语言模型在机器写作中的知识边界。框架通过信息树和概念池的结构化组织，逐步深化对主题的理解，生成高质量的长...
OmniCam 是先进的多模态视频生成框架，通过摄像机控制实现高质量的视频生成。支持多种输入模态组合，用户可以提供文本描述、视频中的轨迹或图像作为参考，精确控制摄像机的运动轨迹。...
OmniAvatar是浙江大学和阿里巴巴集团共同推出的音频驱动全身视频生成模型。模型根据输入的音频和文本提示，生成自然、逼真的全身动画视频，人物动作与音频完美同步，表情丰富。...
MagicTryOn是浙江大学计算机科学与技术学院、vivo移动通信等机构推出的基于视频扩散Transformer的视频虚拟试穿框架。框架替换传统的U-Net架构为更具表现力的扩散Transformer（DiT），结合全自注...
LanDiff是用于高质量的文本到视频（T2V）生成的创新混合框架，结合了自回归语言模型（LLM）和扩散模型（Diffusion Model）的优势，通过粗到细的生成方式，有效克服了单一方法在语义理解和视觉质量上的局限性。...
InftyThink是创新的大模型推理范式，突破传统模型在长推理任务中的局限性。通过分段迭代的方式，将复杂的推理过程分解为多个短片段，在每个片段后生成中间总结，实现分块式思考。...
ICEdit（In-Context Edit）是浙江大学和哈佛大学推出的指令式图像编辑框架。基于大规模扩散变换器（Diffusion Transformer）的强大生成能力和上下文感知能力，用自然语言指令对图像进行精准编辑。...
全部评论
留言在赶来的路上...
发表评论