用重整化群框架描述神经网络grokking现象

2026年10月28日，arXiv Artificial Intelligence 刊出 Min Chen 等作者的论文，研究用标度与重整化群（RG）理论定量描述神经网络中的 Grokking 现象，即网络从记忆到泛化的延迟转变。作者针对两层网络的模加法任务，以权重范数平方为序参量，通过损失对逐神经元范数的二阶展开构造耦合矩阵，并用其 Fiedler 向量定义有效几何，进而做块自旋聚合的实空间 RG。对线性化局部 RG 映射，作者得到相关标度指数与五个导出临界指数，经验估计与 RG 预测吻合在 1–10% 以内。论文称由此为神经泛化转变建立了定量物理框架。目前该工作处于预印本阶段，尚未见同行评议或后续跟进报道。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。