StructZO：结构化零阶优化实现内存高效LLM微调

2026年10月15日，arXiv 人工智能板块出现一篇由 Xuanlin Yang、Jia Li、Zhouchen Lin 发表的论文，提出 StructZO——一种面向内存高效 LLM 微调的结构化零阶（ZO）优化框架。该框架的做法是：在激活诱导的信息子空间内进行大查询 ZO 估计，并施加谱控制，从而将有效 ZO 估计维度从 mn 降至 mr。论文报告称，在 OPT 系列与 Llama3.1-8B 的多项下游任务上，StructZO 平均相对最强 ZO 基线提升最高 8.7%，单项任务最高提升 26.9%，平均与一阶 Adam 的差距在 1.5% 以内。目前该事件仅有这一篇主报道，尚无后续跟进报道，也未出现与早先报道矛盾的数字或说法。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。