arXiv Artificial Intelligence· Jingxuan Chen, Mohammad Taher Pilehvar, Jose Camacho-Collados·· 18 小时前AI 评分48
LLM 多实例处理中的顺序效应:准确率可相差约 90 个百分点
Does Every Instance Count Equally? Order Effects in LLM Multi-Instance Processing
AI 导读
研究评估 15 个 LLM 在 5 个数据集、7 种实例顺序模式下的多实例处理表现,发现模型对实例顺序高度敏感,最佳与最差顺序模式的准确率可相差约 90 个百分点。多数标签实例出现在开头时模型通常更准确,出现在中间或末尾时则更差。部分模型的推理轨迹过度提及早期实例,梯度归因分数在开头和结尾附近普遍高于中间。
来源:arXiv Artificial Intelligence · arxiv.org