MoLS：面向大语言模型的 SNR 引导模块级学习率校准

MoLS 通过梯度信噪比（SNR）实现大语言模型模块级学习率的一次性校准，替代人工倍数搜索。该方法在初始适应期后估计各模块 SNR，用逆平方根缩放确定相对学习率倍数，并在 warmup 阶段平滑引入后保持固定。LLM 预训练与微调实验显示其降低困惑度、提升下游准确率，性能接近精细调优的模块专属学习率，且计算开销极小。