arXiv Artificial Intelligence· Anand Swaroop·2026-10-14 12:00· 20 小时前AI 评分24

潜在算法结构先于 Grokking 出现：ReLU MLP 模运算的机制研究

Latent Algorithmic Structure Precedes Grokking: A Mechanistic Study of ReLU MLPs on Modular Arithmetic

AI 导读

对模加法的机制研究发现，ReLU MLP 在实验中学习到近二值的方波输入权重，中间值权重仅出现在符号变化边界附近，输出权重的主导傅里叶相位满足 φ_out = φ_a + φ_b，该关系在噪声数据训练、模型未能 grokking 时依然成立。