跳到正文
arXiv Artificial Intelligence· Seyed Arshan Dalili, Mehrdad Mahdavi·· 13 小时前AI 评分31

Subspace-Aware Sparse Autoencoders:用子空间解码器缓解特征分裂的机制可解释性方法

Subspace-Aware Sparse Autoencoders for Effective Mechanistic Interpretability

AI 导读

研究者提出 Subspace-Aware Sparse Autoencoders(SASA),用可学习的子空间替代 SAE 的单向量解码器,并通过 Top-s 分组门控和核范数正则自适应调整组秩。

推荐理由模型分析

针对SAE把每个潜在特征限定为单一解码方向、多维特征易发生特征分裂的问题,作者提出用学习到的子空间替代单向量解码器,并以Top-s组门控和核范数正则控制稀疏与组秩,同时给出理想单特征模型下的最优性证明和样本复杂度界。GPT-2与Mistral-7B实验显示吸收现象减少,匹配预算下概念族成员预测更准但重建成本上升。做机制可解释性、稀疏字典学习的开发者可据此比较子空间方案与标准SAE的取舍。

来源:arXiv Artificial Intelligence · arxiv.org