研究大语言模型语义局部几何

2026年10月23日，arXiv Artificial Intelligence 刊出研究《意义契约：大语言模型中的局部语义几何》。该研究在 Gemma 4、Llama 3.2、Qwen 2.5、Pythia 四个仅解码器大语言模型上，通过跨语言探针与细化探针刻画语义的局部几何，两项探针均经盲测人工判断验证。四个模型一致显示：在均值池化下移除主导方差方向后，句对按语义相关度分层排序，且层带内无重叠；语义因子围绕不变核心组织，细化使表示定向位移进入更紧邻域。句级读出呈体积收缩，token 局部读出呈更尖锐的各向异性端点。目前该研究处于论文发布阶段，尚无后续跟进报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。