Clean：Nyström素描二阶LLM优化器
热点事件持续更新
Clean：Nyström素描二阶LLM优化器
1 篇报道1 个报道来源18 小时前更新
先了解这件事
AI 综述
2026年10月15日，arXiv Artificial Intelligence 刊出 Beheshteh T. Rakhshan 等作者的论文，提出 Clean 与 Q-Clean 两种内存高效的全曲率优化器。论文称，Clean 利用随机 Nyström 方法近似 SOAP 的左右预条件子，将优化器内存复杂度从模型维度的二次降至线性，并重新整合子空间外分量以保留曲率信息。作者报告的实验条件与结果包括：在预训练 LLaMA-1.3B 架构时，Q-Clean 相比 Muon 将优化器内存消耗降低超过 50%，同时保持有竞争力的预测性能；Clean 的优化器状态占用小于标准 AdamW，并在墙钟时间上比 AdamW 快 26% 达到其最终性能；此外，该方法使 13B 参数模型可在单张 80GB GPU 上预训练。上述数据均为论文作者自述，尚无独立复现或第三方验证的报道。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
Clean：通过 Nyström 草图法以线性内存成本实现二阶 LLM 训练报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv Artificial IntelligenceClean：通过 Nyström 草图法以线性内存成本实现二阶 LLM 训练
研究者提出 Clean，一种利用随机 Nyström 方法近似 SOAP 左右预条件子的全曲率优化器，将优化器内存复杂度从模型维度的二次降至线性，并重新整合子空间外分量以保留曲率信息。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。