MuonGS:松弛权重范数控制的LLM预训练方法
热点事件持续更新
MuonGS:松弛权重范数控制的LLM预训练方法
1 篇报道1 个报道来源18 小时前更新
先了解这件事
AI 综述
2026年10月28日,arXiv Artificial Intelligence 刊出由 Athanasios Glentis、Dawei Li、Mingyi Hong 提出的预训练优化器方法 MuonGS。报道称,该方法通过 Gram-Schmidt 投影去除 Muon 每次更新的径向分量,且不固定权重范数;在此条件下,权重范数在 t 步后最多按 √t 增长,从而保证累积有效学习率 C_T=Ω(√T)。目前该报道为事件最新进展,未提及与其他报道存在数字、时间或说法上的矛盾。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 12:00
MuonGS:用松弛权重范数控制预训练 LLM报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- arXiv Artificial IntelligenceMuonGS:用松弛权重范数控制预训练 LLM
MuonGS 通过 Gram-Schmidt 投影去除 Muon 每次更新的径向分量,在不固定权重范数的情况下让权重范数在 t 步后最多按 √t 增长,从而保证累积有效学习率 C_T=Ω(√T)。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。