跳到正文
arXiv Artificial Intelligence· Luyang Zhang, Jialu Wang·· 2 天前AI 评分31

归因修补何时失真:诊断与二阶校正方法

When Attribution Patching Lies: Diagnosis and a Second-Order Correction

AI 导读

研究揭示归因修补的主要误差来自下游网络非线性而非被修补组件的局部曲率,并提出可靠性评分、误差界与仅需一次额外反向传播的 Hessian 向量积(HVP)校正。在五个模型家族(124M–9B 参数)及随机 token 与名称替换扰动上,HVP 是较大规模下唯一可行的二阶校正,多步 HVP 变体以显著更低算力达到或超过 Integrated Gradients 精度。

来源:arXiv Artificial Intelligence · arxiv.org