跳到正文
arXiv Artificial Intelligence· Luis Wiederhold, Nil Ayday, Debarghya Ghoshdastidar·· 18 小时前AI 评分22

将宽神经网络的有限样本高斯近似提升为函数型收敛

Lifting Finite-Sample Gaussian Approximation of Wide Neural Networks to Functional Convergence

AI 导读

随机初始化的宽度为 m 的神经网络在 m→∞ 时收敛到高斯过程,有限样本界在二次 Wasserstein 距离 W₂ 下达到 m^{-1/2} 的速率,但常数随样本数增长而失效。该研究通过逐样本度量误差使常数一致,将有限样本界提升为函数型界。对多项式激活函数和任意紧输入集,在一致范数下得到 m^{-1/2} 的速率及显式常数。

来源:arXiv Artificial Intelligence · arxiv.org