Miras是谷歌推出的用在深度学习架构设计的通用框架，特别是序列建模任务。Miras基于关联记忆和注意力偏差的概念，将Transformer、现代线性RNN等模型重新定义为具有内部优化目标的关联记忆模块。Miras基于四种关键选择构建模型，关联记忆架构、注意力偏差目标、保持门及记忆学习算法。Miras能生成具有不同优势的新型序列模型，例如Moneta、Yaad和Memora，模型在语言建模、常识推理等任务中表现出色，超越现有的Transformer和线性RNN模型。
（图片来源网络，侵删）
（图片来源网络，侵删）
全部评论
留言在赶来的路上...
发表评论