CLEAR是新加坡国立大学推出新型线性注意力机制，能提升预训练扩散变换器（DiTs）生成高分辨率图像的效率。基于将每个查询的注意力限制在局部窗口内，CLEAR实现了对图像分辨率的线性复杂度，降低了计算成本。实验表明，CLEAR在10K次迭代微调后，能在保持与原始模型相似性能的同时，减少99.5%的注意力计算，并在生成8K图像时提速6.3倍。CLEAR支持跨模型和插件的零样本泛化，及多GPU并行推理，增强模型的适用性和扩展性。

CLEAR – 新加坡国立大学推出的线性注意力机制，生成8K图像时提速6.3倍 第1张
（图片来源网络，侵删）
CLEAR – 新加坡国立大学推出的线性注意力机制，生成8K图像时提速6.3倍 第2张
（图片来源网络，侵删）