AdamPM：通过矩池化实现内存高效的 LLM 优化

AdamPM 是 Adam 的内存高效变体，沿行或列维度将相邻矩条目分组并用单一共享均值表示，组大小为 s 时可将二阶矩内存降至原来的 1/s。该设计继承 Adam 的超参数设置，可直接集成到现有 Adam 实现中，系统实验确定二阶矩池化为有效方案。语言模型预训练、微调和多模态学习实验显示，AdamPM 在保持模型性能与训练速度的同时大幅降低优化器状态内存。