SANA 1.5是英伟达联合MIT、清华、北大等机构推出的新型高效的线性扩散变换器(Linear Diffusion Transformer),用于任务。在 SANA 1.0 的基础上进行了改进,提出了三大创新点:高效的训练扩展,通过深度增长范式,将模型从 16 亿参数扩展到 48 亿参数,显著减少计算资源,结合了高效的 8 位优化器。模型深度剪枝,通过分析块重要性,对模型进行高效压缩,能在不同计算预算下灵活调整模型大小。推理时扩展,通过重复采样和基于视觉语言模型(VLM)的选择机制,使小模型在推理时能达到大模型的质量。

(图片来源网络,侵删)

(图片来源网络,侵删)
全部评论
留言在赶来的路上...
发表评论