跳到正文
arXiv Artificial Intelligence· Louis Schiekiera, Max Zimmer, Christophe Roux, Sebastian Pokutta, Fritz G\"unther·· 19 小时前AI 评分26

从关联到激活:比较 LLM 中行为与隐藏状态的语义几何

From Associations to Activations: Comparing Behavioral and Hidden-State Semantic Geometry in LLMs

AI 导读

研究者在八个指令微调 Transformer 模型上,用相似性强制选择和自由联想两种范式、共享 5000 词词表收集 1750 万+ 试次,构建基于行为的相似度矩阵。表征相似性分析显示,强制选择行为与隐藏状态几何的一致性显著高于自由联想;在留出词回归中,行为相似度(尤其强制选择)能预测未见词的隐藏状态相似度,超出词汇基线和跨模型共识。

来源:arXiv Artificial Intelligence · arxiv.org