跳到正文
arXiv Artificial Intelligence· Harry Mayne, Lev McKinney, Jan Dubi\'nski, Adam Karvonen, James Chua, Owain Evans·· 13 小时前AI 评分64

Negation Neglect:微调含否定表述的文档会让模型相信被否定的说法

Negation Neglect: When models fail to learn negations in training

AI 导读

作者提出 Negation Neglect 现象:用把某说法标为虚假的文档微调 LLM,模型反而会相信该说法为真。在 Qwen3.5-397B-A17B 上,用含否定的文档微调后,对虚构说法的平均相信率从 2.5% 升至 88.6%,而不含否定的文档为 92.4%。

推荐理由模型分析

做微调数据清洗的团队可据此判断,把否定说明放在独立句子里可能让模型反向学到被否定的内容。

来源:arXiv Artificial Intelligence · arxiv.org