跳到正文
arXiv Artificial Intelligence· Andr\'es Daniel Godoy Ortiz·· 3 小时前AI 评分31

意义契约:大语言模型中的局部语义几何

Meaning Contracts: Local Semantic Geometry in Large Language Models

AI 导读

研究在 Gemma 4、Llama 3.2、Qwen 2.5、Pythia 四个仅解码器 LLM 上通过跨语言探针与细化探针刻画语义的局部几何,两项探针均经盲测人工判断验证。四个模型一致显示:均值池化下移除主导方差方向后,句对按语义相关度分层排序且层带内无重叠;语义因子围绕不变核心组织,细化使表示定向位移进入更紧邻域。句级读出呈体积收缩,token 局部读出呈更尖锐的各向异性端点。

来源:arXiv Artificial Intelligence · arxiv.org