重新审视 LoRA 初始化：让非对称学习率更稳健

研究提出一种新的 LoRA 初始化方案，通过将 A 矩阵方差按 σ_A² ∝ n⁻² 缩放并保持 B₀=0，抑制标准初始化下由 η_B、初始化尺度 β 和秩 r 放大的初始化噪声。在秩和训练时间匹配的条件下，该方案将初始化噪声能量再降低 1/n，显著拓宽稳定学习率区间，避免 LoRA+ 式大 η_B/η_A 比例下的训练崩溃，并使 η_B ≈ n η_A 成为有限预训练模型的实用起点。