arXiv Artificial Intelligence· Dikshant Kukreja, Gautam Gupta, Avni Mittal, Avinash Anand, Kritarth Prasad, Zhengkui Wang, Timothy Liu, Rajiv Ratn Shah, Aik Beng Ng, Simon See, Erik Cambria·· 2 天前AI 评分38
研究揭示语言模型的“入侵通路”：非证据性上下文如何拉低性能
The Intrusion Pathway: How Non-Evidential Context Degrades Language Model Performance
AI 导读
研究发现，提示词中混入无关领域语句或随机分布外 token 时，语言模型会经“入侵通路”丢失准确率：MLP 同时强化查询主体与无关 token 表征，复读头将前缀内容带到预测位置。作者将部分干扰定位到少量“入侵头”，掩码敲除约十个头（约占注意力头 1%）可挽回 57% 的性能下降；用干净残差替换受损末 token 残差的 oracle 探针平均挽回 97.6%。
来源：arXiv Artificial Intelligence · arxiv.org