线性模型中延迟泛化动力学研究

2026年10月15日，arXiv Artificial Intelligence 刊出 Atreya Vedantam 等作者的论文修订版，研究线性模型中的延迟泛化动力学。论文指出，线性模型在使用梯度下降与指数尾损失、训练线性可分数据时也会出现延迟泛化：训练准确率远早于测试准确率接近完美。研究将有限时间超平面动力学划分为种群阶段、支持向量主导的遗忘阶段和泛化阶段，并提出残差超出最大间隔方向的收敛是遗忘阶段启动的充分条件，该动力学时间尺度导致泛化延迟。团队通过变化种群与支持向量分布的受控实验验证理论，并在 MNIST 上单输出神经元深度模型中验证了预测的偏置行为。该版本为“大幅修订与改进版”（v2: substantially revised and improved version）。

AI 根据报道生成 · 刚刚更新

还没有足够的连续观测数据，暂不绘制趋势。