激活偏置对学习动态影响的研究

2026年10月15日，arXiv Artificial Intelligence 刊出 Zirui Peng 等人的研究，重新审视常用激活函数与学习动态的关系。研究指出，ReLU、GELU、Swish、Sigmoid 等常用激活函数的输出以正值为主，因而产生非零的激活后均值，即所谓“激活偏置”。在受控模型中，该研究发现激活偏置会加速初期损失下降，但同时伴随过冲、非平滑轨迹和更陡的损失曲面；降低激活偏置虽会减慢初期学习，最终损失却更低。研究还称，在更大规模的视觉与语言模型上，较小的激活偏置同样与更好的后期表现相关。上述结论均来自该论文的受控实验与模型观察，其适用条件与范围以原文为准。

AI 根据报道生成 · 40 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。