arXiv Artificial Intelligence· Jialin Wu, Meenakshi Khosla·· 17 小时前AI 评分22
大语言模型表征对齐的尺度、驱动因素与局限
Scale, Drivers, and Limits of Representational Alignment Across Large Language Models
AI 导读
研究提出 Neighborhood-Weighted RSA(NW-RSA)与 Counterfactual RSA(CF-RSA)两种方法,用于定位大语言模型在哪些几何尺度上一致、哪些语言属性支撑这种一致。结果显示,模型在粗粒度表征几何上高度一致,但在局部邻域存在显著分歧;逻辑辖域扰动造成的对齐下降明显大于层级句法、事件角色或语篇结构的扰动。
来源:arXiv Artificial Intelligence · arxiv.org