LLM评审在实体对齐任务中的可靠性评测

2026年10月30日，arXiv Artificial Intelligence 刊出 Vaibhava Lakshmi Ravideshik 与 Mayank Kejriwal 的研究，首次系统评测 LLM-as-judge 在实体对齐（EA）任务上的可靠性，覆盖三个前沿模型、三个数据集和四个 EA 系统，采用扰动偏差诊断、跨全部数据集—评审—提示组合的元评估以及反事实标签翻转测试。研究发现“锚定偏差”：当系统决策标签可见时，评审判别力崩溃，J-ROC-AUC 仅 0.12–0.87；而无标签协议在独特名称数据集上恢复至 0.98–1.00。反事实标签翻转显示，53–99% 的样本分数偏移超过 2 分，且模型越强标签敏感性越高。作者同时发布首个生物医学 EA 基准（MeSH–SNOMED CT，1.5 万对）及可复现的审计框架，代码与数据已公开。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。