arXiv Artificial Intelligence· Viraj Mishra, Shubham Gupta, Dhruv Gupta, Yuehong Cassandra Tai, Qunhua Li·· 13 小时前AI 评分31
定义、标签名还是示例？审计什么在主导 LLM 标注
Definitions, Label Names, or Demonstrations? Auditing What Governs LLM Annotation
AI 导读
研究用反事实审计在三个政治文本数据集上重分配类别定义，发现 LLM 很少遵循被重分配的定义，标准微调反而强化数据集原有映射而非提升定义遵循度。检索最近训练样本通常优于按类别分别检索示例，且用更少示例；在两项增益明显的任务上，直接 k 近邻分类可复现 74–93% 的改进。重标注固定示例能改变预测，而让示例与被重分配定义对齐可显著提升对新映射的遵循度。
推荐理由模型分析
该研究提出反事实审计，把类别定义在输出标签间重新分配，用来区分模型是遵循研究者给定的定义，还是沿用数据集原有的标签映射。三个政治文本数据集显示，模型很少遵循重分配后的定义，常规微调反而强化原有映射；检索最近训练样本优于按类别分别检索，且在两个增益明显的任务上，直接 kNN 分类可复现 74–93% 的改进。这提示做 LLM 文本标注的研究者：准确率提升不等于遵循编码手册，定义、标签、示例与检索需联合对齐验证。
来源：arXiv Artificial Intelligence · arxiv.org