量化误差如何引发语言模型预训练中的“定时炸弹”式损失尖峰

语言模型预训练中，LM head 输出 logits 增长与发散会导致仅在长时间训练后才出现的延迟性终端发散，即“定时炸弹”式损失尖峰，其前兆是 LM head 量化误差快速增大。降低数值精度会加速这类尖峰，提高精度则改善稳定性；将 LM head 上的 AdamW 换成带动量的 SGD 可抑制 logit 增长、提升长周期训练稳定性。现有各类缓解方法均能降低量化误差，指向共同的数值机制。