arXiv Artificial Intelligence· Sagi Habani, Yehonathan Refael, Ofir Lindenbaum·2026-10-15 12:00· 18 小时前AI 评分29

哪种优化器泄露最多？优化器隐式偏差作为训练数据隐私控制器

Which Optimizer Leaks Most? Optimizer Implicit Bias as a Training-Data Privacy Controller

AI 导读

研究比较了 SGD、Adam、Muon 三种优化器对训练数据重建泄露的影响，认为关键在于隐式偏差的权重特异性。SGD 和 Muon 的平稳性条件保留足够权重信息，实践中可重建训练样本；Adam 在 ℓ∞ 隐式偏差下仅编码最大坐标及其符号的离散模式，非退化 KKT 点处条件不足以一阶识别训练集。