线性模型中延迟泛化的动力学研究

线性模型在梯度下降与指数尾损失下训练线性可分数据时也会出现延迟泛化：训练准确率远早于测试准确率接近完美。研究将有限时间超平面动力学划分为种群阶段、支持向量主导的遗忘阶段和泛化阶段，残差超出最大间隔方向的收敛是遗忘阶段启动的充分条件，该动力学时间尺度导致泛化延迟。团队通过变化种群与支持向量分布的受控实验验证理论，并在 MNIST 上单输出神经元深度模型中验证了预测的偏置行为。