arXiv Artificial Intelligence· Athanasios Glentis, Dawei Li, Mingyi Hong·2026-10-28 12:00· 19 小时前AI 评分31

MuonGS：用松弛权重范数控制预训练 LLM

MuonGS: Pretraining LLMs with Relaxed Weight-Norm Control

AI 导读

MuonGS 通过 Gram-Schmidt 投影去除 Muon 每次更新的径向分量，在不固定权重范数的情况下让权重范数在 t 步后最多按 √t 增长，从而保证累积有效学习率 C_T=Ω(√T)。