神经网络中的标度与重整化：用有效重整化群描述 Grokking

研究用标度与重整化群（RG）理论定量描述神经网络中的 Grokking 现象，即从记忆到泛化的延迟转变。针对两层网络的模加法任务，作者以权重范数平方为序参量，通过损失对逐神经元范数的二阶展开构造耦合矩阵，并用其 Fiedler 向量定义有效几何，进而做块自旋聚合的实空间 RG。线性化局部 RG 映射得到相关标度指数与五个导出临界指数，经验估计与 RG 预测吻合在 1-10% 以内。