Fisher 信息与神经网络记忆的几何结构

研究在 CIFAR-10 上训练并注入只能靠记忆学习的受控噪声的视觉模型，发现将模型权重投影到 Fisher 特征向量主方向上，可解耦通用任务性能与噪声样本记忆，且这种解耦在不同层表现不同。相同现象也出现在求解合成上下文学习任务的小型 Transformer 中，并在一个可解析求解的线性模型里以闭式复现。结果表明 Fisher 信息刻画了神经网络在泛化与记忆之间分配容量所依赖的几何结构。