arXiv Artificial Intelligence· Swathi Shree Narashiman, Aravind Ramana Venkatramanan, Nambi Seshadri·2026-10-15 12:00· 18 小时前AI 评分23

语言模型 Logits 的几何结构：通用模式与学习到的偏离

The Geometry of Language Model Logits: Generic Structure and Learned Departures

AI 导读

自回归语言模型每个预测步生成词表大小的 logit 向量，其有序词表头部 logit 在不同预测上下文、架构和规模下均遵循一致的 log-linear 关系 z_(r) ≈ μ - α log r，并在预训练中逐步显现。