跳到正文
arXiv Artificial Intelligence· Nicola Zanarini, Niccol\`o Ferrari, Evelina Lamma·· 3 小时前AI 评分31

Graph Memory Transformer(GMT):用学习到的记忆图替代 Transformer 的 FFN 子层

Graph Memory Transformer (GMT)

AI 导读

研究提出 Graph Memory Transformer(GMT),用学习到的记忆图替代 decoder-only Transformer 中的 FFN 子层,因果自注意力保持不变。

来源:arXiv Artificial Intelligence · arxiv.org