arXiv Artificial Intelligence· Israel Mason-Williams, Gabryel Mason-Williams, Helen Yannakoudakis·· 19 小时前AI 评分23
从函数中心视角重新审视平坦与尖锐极小值
A Function-Centric Perspective on Flat and Sharp Minima
AI 导读
研究将尖锐度视为依赖函数的属性而非泛化能力的直接指标,通过单目标优化、合成非线性二分类和现代图像分类实验发现,同等最优解可呈现截然不同的局部几何。在合成任务中,提高决策边界紧致度会增加尖锐度,即使模型完美泛化;在大规模实验中,经权重衰减、数据增强或 SAM 正则化的模型往往出现更尖锐的极小值,却同时具备更好的泛化、校准、鲁棒性和函数一致性。
来源:arXiv Artificial Intelligence · arxiv.org