arXiv Artificial Intelligence· Ashkan Soleymani, Reyhaneh Hosseinpourkhoshkbari, Hadi Daneshmand, Patrick Jaillet·· 13 小时前AI 评分31
归一化深度神经网络中的 Lipschitz 爆炸：对优化与对抗鲁棒性的影响
On Lipschitz Explosion in Deep Neural Networks with Normalization: Consequences for Optimization and Adversarial Robustness
AI 导读
研究证明，带归一化层（以 batch normalization 为典型）的深度网络即使每层权重范数受控（如 ‖Wℓ‖₂≤1）、激活函数为线性，输入 Lipschitz 常数与参数 Lipschitz 常数仍可随深度和参数维度指数增长。
推荐理由模型分析
该工作证明：带归一化层的深层网络即使逐层范数受控，输入与参数两类 Lipschitz 常数仍可随深度指数增长，使基于 Lipschitz 的优化、泛化和鲁棒性保证在高维下失效。作者进一步提出“秩分离”机制，并在 MNIST、Fashion-MNIST、CIFAR-10 上验证：引入新奇异方向的扰动比同噪声水平、留在原奇异子空间的扰动造成更明显的精度与置信度下降。关注归一化稳定性、鲁棒性认证和对抗脆弱性的研究者可据此重新审视逐层范数假设，并设计针对秩变化的评测；结论为理论加小规模实验，尚未覆盖大规模部署条件。
来源：arXiv Artificial Intelligence · arxiv.org