跳到正文
arXiv Artificial Intelligence· Xianglong Shi, Ruijie Yang, Sirui Zhao, Shukang Yin, Zihao Bian, Tinghao Yi, Enhong Chen·· 3 小时前AI 评分36

LSTMem:面向大语言模型的分层长短期在线记忆

LSTMem: Hierarchical Long Short-Term Online Memory for Large Language Models

AI 导读

LSTMem 为冻结 LLM 的每一层配备细胞状态与隐藏状态两个矩阵状态,用输入门、遗忘门控制记忆存储,输出门单独控制记忆暴露,并通过前向隐藏状态传播和块末反馈实现跨层记忆连接。

来源:arXiv Artificial Intelligence · arxiv.org