arXiv Artificial Intelligence· Harry Mayne, Lev McKinney, Jan Dubi\'nski, Adam Karvonen, James Chua, Owain Evans·· 13 小时前AI 评分64
Negation Neglect:微调含否定表述的文档会让模型相信被否定的说法
Negation Neglect: When models fail to learn negations in training
AI 导读
作者提出 Negation Neglect 现象:用把某说法标为虚假的文档微调 LLM,模型反而会相信该说法为真。在 Qwen3.5-397B-A17B 上,用含否定的文档微调后,对虚构说法的平均相信率从 2.5% 升至 88.6%,而不含否定的文档为 92.4%。
推荐理由模型分析
做微调数据清洗的团队可据此判断,把否定说明放在独立句子里可能让模型反向学到被否定的内容。
来源:arXiv Artificial Intelligence · arxiv.org