Prompt Lottery：LLM-as-a-Judge 对句式改写的敏感性及多提示词聚合缓解

论文提出 Prompt Lottery 现象，即语义相同但句式不同的提示词会让 LLM-as-a-Judge 给出不同评判，在部分设置下甚至反转模型相对排名。10 名人工标注者的用户研究显示，LLM 评判者在提示词改写下的一致性下降幅度是人类的 6-9 倍，低于可用性研究常用阈值。作者进一步表明，多提示词聚合通过强调跨提示词变体一致的判断，能显著提升稳健性。