StructZO：面向内存高效 LLM 微调的结构化零阶优化

StructZO 是一种结构化零阶（ZO）优化框架，用于内存高效的 LLM 微调，通过在激活诱导的信息子空间内进行大查询 ZO 估计并施加谱控制，将有效 ZO 估计维度从 mn 降至 mr。在 OPT 系列与 Llama3.1-8B 的多项下游任务上，它平均相对最强 ZO 基线提升最高 8.7%、单项任务最高 26.9%，平均与一阶 Adam 的差距在 1.5% 以内。