语言模型logit几何结构研究

2026年10月15日，arXiv人工智能板块发布由Swathi Shree Narashiman等人完成的研究，分析自回归语言模型logit的几何结构。该研究指出，语言模型在每个预测步生成词表大小的logit向量，其有序词表头部logit在不同预测上下文、架构和规模下均遵循一致的log-linear关系 z_(r) ≈ μ - α log r，且这一模式在预训练过程中逐步显现。报道称，该结论基于实证观察，覆盖多种预测上下文、架构与规模。目前该事件仅有这一篇主报道，尚无后续跟进报道，也未出现与早先报道矛盾的数字、时间或说法。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。