LoRA新初始化方法抑制非对称学习率噪声

2026年10月26日，一篇发表于arXiv人工智能分类的研究提出新的LoRA初始化方案。该研究指出，标准初始化下，初始化噪声会被η_B、初始化尺度β和秩r放大；为此，作者提出将A矩阵方差按σ_A² ∝ n⁻²缩放，同时保持B₀=0，以抑制这一效应。在秩和训练时间匹配的条件下，该方案将初始化噪声能量再降低1/n，显著拓宽稳定学习率区间，避免LoRA+式大η_B/η_A比例下的训练崩溃，并使η_B ≈ n η_A成为有限预训练模型的实用起点。研究由Disen Liao、Yaoliang Yu完成。目前进展停留在论文层面，尚无独立复现或后续跟进报道。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。