研究揭示注意力汇形成前的隐藏状态几何变化

2026年10月15日，arXiv Artificial Intelligence 发布一项研究，揭示注意力汇形成前的隐藏状态几何变化，并称可调控其形成。研究比较同一模型同一层不同提示词发现，注意力汇形成前约两到三层存在短暂的隐藏状态谱重组信号，该信号可预测汇的形成时机。研究称，仅修改当前注意力计算后隐藏状态的奇异值，即可在 Qwen2.5、GLM-Z1 和 GPT-OSS 中改变后续汇的形成行为。在 Qwen2.5 中，抑制效应伴随下一层对位置 0 的 query-key 偏好下降，且学习到的谱方向在训练数据大幅减少时仍保持稳定。研究总结称，注意力汇之前存在短暂的隐藏状态谱重组，直接扰动这一几何结构可因果性地改变后续汇的形成。目前该事件尚无后续跟进报道。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。