多语言LLM评审提示策略鲁棒性研究

2026年10月23日，arXiv Artificial Intelligence 刊出 Asal Mehrabi 等作者的预印本，研究提示策略对 LLM-as-a-Judge（以大模型作评审）效果的影响。作者构建基准，覆盖 9 种提示策略、4 个开源权重评审模型、27 种语言、4 类任务和 13 个数据集，在带金标准参考的输出上产生超过 100 万条逐点评分，并以人工判断作验证。研究结论称：提示策略的效果不可迁移，评审模型的选择比提示策略更关键，同一策略在不同评审模型间效果方向相反；低资源语言下稳定性下降，且这一下降会被聚合报告掩盖。报道未给出各策略、各模型、各语言的具体数值，也未说明基准的发布时间、许可或复现条件。该研究为预印本，结论尚待同行评议。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。