arXiv Artificial Intelligence· R\'ois\'in Luo, Ihsan Ullah, Christian Gagn\'e, Dong Li, Karyn Morrissey·· 13 小时前AI 评分31
MIRA：缓解循环语言模型中的极点几何偏差
MIRA: Mitigating Pole Geometry Bias in Recurrent Language Models
AI 导读
研究者提出 MIRA（Modal IIR Recurrent Architecture），用 lattice–ladder 结构实现高阶 IIR 系统，使循环架构能同时表示实极点与复共轭极点对应的时间模态，从而消除循环语言模型的极点几何偏差。
推荐理由模型分析
该文把选择性SSM、RWKV、RetNet统一刻画为IIR系统，指出其参数化使极点被限制在实轴，从而带来动力学偏置；Mira用lattice–ladder结构实现高阶IIR，可表示实极点与共轭复极点对应的时序模态。0.14B的Mira-S在预训练中困惑度低于强循环基线，并展现超出训练长度的上下文泛化与专用CUDA核吞吐优势。适合研究线性时间架构与长上下文的人参考其基线设置与实验条件。
来源：arXiv Artificial Intelligence · arxiv.org