研究揭示注意力汇形成前的隐藏状态几何变化，并可调控其形成

研究比较同一模型同一层不同提示词发现，注意力汇形成前约两到三层存在短暂的隐藏状态谱重组信号，该信号可预测汇的形成时机。仅修改当前注意力计算后隐藏状态的奇异值，即可在 Qwen2.5、GLM-Z1 和 GPT-OSS 中改变后续汇的形成行为。在 Qwen2.5 中，抑制效应伴随下一层对位置 0 的 query-key 偏好下降，且学习到的谱方向在训练数据大幅减少时仍保持稳定。