MoLS：模块级学习率校准方法提出

2026年10月26日，arXiv Artificial Intelligence 刊出 Ziqing Wen 等作者的论文，提出基于信噪比（SNR）的模块级学习率缩放方法 MoLS。据该报道，MoLS 通过梯度信噪比实现大语言模型模块级学习率的一次性校准，以替代人工倍数搜索：在初始适应期后估计各模块 SNR，用逆平方根缩放确定相对学习率倍数，并在 warmup 阶段平滑引入后保持固定。报道称，LLM 预训练与微调实验显示该方法降低困惑度、提升下游准确率，性能接近精细调优的模块专属学习率，且计算开销极小。目前事件进展限于该方法被提出及上述实验结论的公布，尚无后续跟进报道。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。