SmoothCache 是用在Diffusion Transformers (DiT)模型的通用推理加速技术,是 Roblox 和女王大学的研究团队推出。基于分析相邻扩散时间步的层输出相似性,自适应地缓存和重用关键特征,减少计算需求。实验显示,SmoothCache 能实现8%到71%的加速,并保持或提升生成质量,适用于图像、视频和音频等多种模态,有助于推动 DiT 模型在实时应用中的广泛使用。

SmoothCache – Roblox 和女王大学推出用于DiT的通用推理加速技术  第1张
(图片来源网络,侵删)
SmoothCache – Roblox 和女王大学推出用于DiT的通用推理加速技术  第2张
(图片来源网络,侵删)