AdamPM：内存高效的 LLM 优化器提出

2026年10月20日，arXiv Artificial Intelligence 刊出由 Xiaowei Ji 等作者完成的研究，提出内存高效的 Adam 变体 AdamPM（Adam with Pooled Moments）。该工作沿行或列维度将相邻矩条目分组，每组用单一共享均值表示；当组大小为 s 时，二阶矩内存可降至原来的 1/s。AdamPM 继承 Adam 的超参数设置，可直接集成到现有 Adam 实现中，系统实验确定二阶矩池化为有效方案。在语言模型预训练、微调和多模态学习实验中，AdamPM 在保持模型性能与训练速度的同时大幅降低优化器状态内存。目前该报道为事件最新进展，尚无后续跟进报道。

AI 根据报道生成 · 36 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。