arXiv Artificial Intelligence· Zhetong Zhang, Gayan K Kulatilleke·· 18 小时前AI 评分22
SuPER-Mamba：用 Surprisal 优先排序实现 Mamba 长上下文路由
SuPER-Mamba: Surprisal Prioritization for Extended-Context Routing in Mamba
AI 导读
SuPER-Mamba 是一个免训练框架，利用预训练 Mamba 模型自身 next-token 预测产生的 Surprisal 信号进行长程状态路由，通过 Local Pooling 聚合邻近响应并据此优先更新 Global-Channel，无需 query 相关打分或额外训练。
来源：arXiv Artificial Intelligence · arxiv.org