跳到正文
arXiv Artificial Intelligence· Jialin Wu, Meenakshi Khosla·· 17 小时前AI 评分22

大语言模型表征对齐的尺度、驱动因素与局限

Scale, Drivers, and Limits of Representational Alignment Across Large Language Models

AI 导读

研究提出 Neighborhood-Weighted RSA(NW-RSA)与 Counterfactual RSA(CF-RSA)两种方法,用于定位大语言模型在哪些几何尺度上一致、哪些语言属性支撑这种一致。结果显示,模型在粗粒度表征几何上高度一致,但在局部邻域存在显著分歧;逻辑辖域扰动造成的对齐下降明显大于层级句法、事件角色或语篇结构的扰动。

来源:arXiv Artificial Intelligence · arxiv.org