arXiv Artificial Intelligence· Beheshteh T. Rakhshan, Sahar Rajabi, Maziar Sargordi, Shikai Fang, Guillaume Rabusseau, Sirisha Rambhatla·· 19 小时前AI 评分30
Clean：通过 Nyström 草图法以线性内存成本实现二阶 LLM 训练
Clean: Second-order LLM Training at Linear Memory Cost via Nystr{\"o}m Sketching
AI 导读
研究者提出 Clean，一种利用随机 Nyström 方法近似 SOAP 左右预条件子的全曲率优化器，将优化器内存复杂度从模型维度的二次降至线性，并重新整合子空间外分量以保留曲率信息。
来源：arXiv Artificial Intelligence · arxiv.org