跳到正文
arXiv Artificial Intelligence· Aditya Somasundaram, Charles Guille-Escuret, Alexander Moreno, Zhengzhong Liu, Eric Xing·· 18 小时前AI 评分22

用 Hilbert 几何统一 Muon 在 softmax 模块中的优化器设计

Taming Softmax at the Limits of Muon: A Unified Approach through Hilbert Geometry

AI 导读

研究提出用 Hilbert 距离作为约束 softmax 输出分布变化的自然度量,可界定交叉熵损失变化并限制概率重分配。对 softmax 而言,该距离表现为预激活扰动的变差半范数,从而把概率约束转化为参数约束。以 Hilbert 距离约束构建最速下降问题,可将 RowNorm 与 Compositional Muon 两种近期方法纳入统一数学框架。

来源:arXiv Artificial Intelligence · arxiv.org