LLM 评审在实体对齐评估中的可靠性研究

研究首次系统评测 LLM-as-judge 在实体对齐（EA）任务上的可靠性，覆盖三个前沿模型、三个数据集和四个 EA 系统。发现"锚定偏差"：当系统决策标签可见时，评审判别力崩溃（J-ROC-AUC 0.12–0.87），而无标签协议在独特名称数据集上恢复至 0.98–1.00。反事实标签翻转显示 53–99% 的样本分数偏移超过 2 分，且模型越强标签敏感性越高。