优化器隐式偏差与训练数据泄露研究

2026年10月15日，arXiv Artificial Intelligence 刊出 Sagi Habani、Yehonathan Refael、Ofir Lindenbaum 的研究，比较 SGD、Adam、Muon 三种优化器对训练数据重建泄露的影响，核心变量是优化器隐式偏差的权重特异性。研究称，SGD 与 Muon 的平稳性条件保留足够权重信息，实践中可重建训练样本；Adam 在 ℓ∞ 隐式偏差下仅编码最大坐标及其符号的离散模式，非退化 KKT 点处条件不足以一阶识别训练集。在 MNIST 与 CIFAR-10 上的实验支持上述说法：Muon 训练的模型可比 SGD 训练的模型以低得多的训练成本产生更强重建，但该优势取决于训练机制与架构；Adam 训练的模型在所评估攻击下始终表现出更强抵抗性。上述结论均限于该研究设定的实验条件。

AI 根据报道生成 · 44 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。