arXiv Artificial Intelligence· Zeyu Fan, Alexandru-Dragos Manolache, Jan van Gemert·2026-10-15 12:00· 17 小时前AI 评分22

RNN Homunculus：如何学习门控长期记忆

The RNN Homunculus: Learning to Gate Long-Term Memory

AI 导读

研究通过受控序列分类任务发现，门控 RNN 在所有训练样本都需长程记忆时同样受困于梯度消失，因为门控值本身需要另一个 RNN 学习。加入短依赖样本后，门控模型能学到兼顾长依赖样本并跨类别标签泛化的解，其测试精度可匹敌甚至超过 Mamba 和 xLSTM。