SuPER-Mamba：免训练长上下文路由框架

2026年10月15日，arXiv Artificial Intelligence 报道了一项由 Zhetong Zhang 与 Gayan K Kulatilleke 提出的免训练框架 SuPER-Mamba，用于预训练 Mamba 模型的长上下文路由。该框架利用模型自身 next-token 预测产生的 Surprisal 信号进行长程状态路由，通过 Local Pooling 聚合邻近响应并据此优先更新 Global-Channel，无需 query 相关打分或额外训练。据该报道，作者在 LongBench-E 基准上对三个状态空间模型进行评估，结果显示 SuPER-Mamba 将平均分从 8.06 提升至 15.69，相对 Base Models 提升 94.7%，较此前最优基线提升 13.1%。上述评估条件与提升幅度均限于该报道所述 LongBench-E 基准与三个状态空间模型，不代表其他模型或任务上的表现。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。