arXiv Artificial Intelligence· Jacob Solinsky (University of Minnesota), Serguei Pakhomov (University of Minnesota)·· 2 天前AI 评分31
大语言模型如何编码与传播语法数：基于 SAE 的 Pythia-70M 研究
Encoding and Propagation of Grammatical Number in Large Language Models
AI 导读
研究者用稀疏自编码器（SAE）在 Pythia-70M 上定位并操控"复数名词""复数主语""生成复数动词"等特征，移除这些特征后模型对"the men in the park"类提示改输出单数动词，反向干预亦然。对应的单数特征效果明显更弱，提示 Pythia-70M 对英语语法数采用缺省式（privative）表征。该结果在 Gemma-2-2b 与 Llama-3.1-8b 上得到复现。
来源：arXiv Artificial Intelligence · arxiv.org