Prompt Lottery：LLM评判的提示敏感性及聚合缓解

2026年10月30日，arXiv Artificial Intelligence 刊出 Ilija Subasic 等作者的论文，提出 Prompt Lottery 现象：语义相同但句式不同的提示词会让 LLM-as-a-Judge 给出不同评判，在部分设置下甚至反转模型相对排名。论文称，10 名人工标注者的用户研究显示，LLM 评判者在提示词改写下的一致性下降幅度是人类的 6-9 倍，低于可用性研究常用阈值。作者进一步表明，多提示词聚合通过强调跨提示词变体一致的判断，能显著提升稳健性。目前进展停留在论文发布与现象、缓解方法的提出，尚无后续独立验证或应用报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。