门控RNN长程记忆的门学习问题

2026年10月15日，arXiv Artificial Intelligence 刊出 Zeyu Fan 等作者的研究《RNN Homunculus：如何学习门控长期记忆》，聚焦门控 RNN 的长程记忆门学习问题。研究通过受控序列分类任务发现：当所有训练样本都需要长程记忆时，门控 RNN 同样受困于梯度消失，原因是门控值本身需要另一个 RNN 来学习。研究进一步发现，加入短依赖样本后，门控模型能够学到兼顾长依赖样本并跨类别标签泛化的解，其测试精度可匹敌甚至超过 Mamba 和 xLSTM。该研究目前为单一报道，尚无后续跟进报道，也未出现与早先报道矛盾的数字或说法。

AI 根据报道生成 · 42 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。