基于现代 Hopfield 模型的 Transformer 注意力统计力学分析

研究通过现代 Hopfield 模型重新审视 Transformer 注意力的统计力学，提出自由能形式化方法以刻画稳健注意力推理的参数区间与临界阈值。自由能景观纳入 query 状态与注意力权重的随机性，注意力经自由能最小化原理表现为该统计力学系统的运动方程，据此识别出注意力在玻璃相与稳健推理相之间的一阶相变。研究进一步扩展至具有随机 query 和 key 的注意力机制。