研究揭示Grokking前潜在算法结构

2026年10月14日，arXiv Artificial Intelligence 刊出 Anand Swaroop 对 ReLU MLP 模运算 Grokking 机制的机制研究。该研究针对模加法任务发现，ReLU MLP 在实验中学习到近二值的方波输入权重，中间值权重仅出现在符号变化边界附近；输出权重的主导傅里叶相位满足 φ_out = φ_a + φ_b。报道称，这一相位关系在噪声数据训练、模型未能 grokking 时依然成立。研究据此提出，grokking 并非发现正确算法，而是锐化在记忆阶段已大量编码的算法：输入权重逐步二值化为更干净的方波，输出权重随之对齐，直至泛化成为可能。目前该工作为单篇 arXiv 论文，尚无后续跟进报道，结论有待进一步验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。