跳到正文
arXiv Artificial Intelligence· David Nordfors·· 2 天前AI 评分32

Qwen3.8-27B 神经元中的原型语境:语言模型智能的架构?

Archetypal contexts in the neurons of language models: an architecture for intelligence?

AI 导读

研究者在 Qwen3.8-27B 内部验证了语言模型将关系模式与具体领域分离的假设:一组神经元承载"临界点"等原型语境,另一组承载政治、生态、细胞生物学等主题,第三组承载语言。沉默原型神经元后模型不再识别该模式但仍知道文本主题,沉默主题神经元则相反。神经元图谱显示层结构呈"三明治"式分布——外层语言、中层主题、核心原型,且该结构在预训练中自发形成并出现在所有被映射的模型中。

来源:arXiv Artificial Intelligence · arxiv.org