量化误差与语言模型训练损失尖峰关系研究

2026年10月30日，arXiv Artificial Intelligence 刊出 Zaiqian Chen 等作者的研究，探讨量化误差如何引发语言模型预训练中的损失尖峰。研究指出，语言模型预训练中 LM head 输出 logits 的增长与发散，会导致仅在长时间训练后才出现的延迟性终端发散，即“定时炸弹”式损失尖峰；其前兆是 LM head 量化误差快速增大，最终 culminates in a loss spike。研究还发现，降低数值精度会加速这类尖峰，提高精度则改善稳定性；将 LM head 上的 AdamW 换成带动量的 SGD，可抑制 logit 增长、提升长周期训练稳定性。此外，现有各类缓解方法均能降低量化误差，指向共同的数值机制。目前该研究以论文形式发布，尚未见后续跟进报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。