arXiv Artificial Intelligence· Sida Liu, Feijiang Han, Sarah Wiegreffe, Furong Huang·· 3 小时前AI 评分34
非高斯性揭示语言模型中的可解释方向：ICA Lens 工作流
Non-Gaussianity Reveals Interpretable Directions in Language Models
AI 导读
研究发现，自然文本残差流激活沿 SAE 解码器方向的投影分布比随机方向显著更非高斯，据此提出 ICA Lens 工作流，直接在激活空间中搜索非高斯方向以发现可解释特征。
来源：arXiv Artificial Intelligence · arxiv.org