跳到正文
arXiv Artificial Intelligence· Jia Gu, Liang Pang, Huawei Shen·· 19 小时前AI 评分31

CIGA:面向 LLM 指令数据选择的抗表面形式偏置梯度归因框架

Robust LLM Data Selection via Content-Invariant Gradient Attribution

AI 导读

针对现有全局梯度归因方法存在表面形式偏置、措辞或格式等语义无关细节的微小改动即可导致归因分数高度不一致的问题,研究者提出内容不变梯度归因框架 CIGA。CIGA 先筛选对归因有影响且在语义保持的表面形式扰动下稳定的层,再将归因信号与输入语义表示动态融合。多基准实验显示,CIGA 在扰动下排序更稳定,保持下游能力并提升平均性能,同时降低归因成本。

来源:arXiv Artificial Intelligence · arxiv.org