Memory Layers是Meta推出的用可训练的键值查找机制为模型增加额外参数的方法,它不会增加浮点运算次数(FLOPs)。基于稀疏激活Memory Layers补充计算密集型的前馈层,提供专门的容量廉价地存储和检索信息。Memory Layers在大规模语言模型中显示出显著的实用性,尤其是在处理事实性任务时,能显著提高模型的性能。基于替换Transformer层中的一个或多个前馈网络(FFN)与记忆层,在不显著增加计算成本的情况下,显著提升模型的事实准确性和知识获取能力。

Memory Layers – Meta 开源不增加算力时增加大模型的参数方法  第1张
(图片来源网络,侵删)
Memory Layers – Meta 开源不增加算力时增加大模型的参数方法  第2张
(图片来源网络,侵删)