从关系特定注意力头到共享干预：语言模型中的上下文夹带研究

研究用覆盖 19 个词汇-语义子类的事实干扰项关系补全提示，定位到消融后可减少上下文夹带的注意力头，并测试这些头集在精确关系、语义家族和混合关系分布间的迁移能力。同家族迁移优于跨家族迁移，移除全局共享头后家族残差减弱，子类特定搜索反复重新发现许多全局头。干净补全与上下文使用探针表明，该共享干预可减少有害复制，同时保留普通关系补全和简单上下文能力。