arXiv Artificial Intelligence· Asal Mehrabi, Mohammad Aliannejadi, Clemencia Siro·2026-10-23 12:00· 3 小时前AI 评分31

评审模型决定提示策略效果：LLM-as-a-Judge 鲁棒性的多语言研究

Prompting Strategy Effects Depend on the Judge: A Multilingual Study of LLM-as-a-Judge Robustness

AI 导读

一项覆盖 9 种提示策略、4 个开源权重评审模型、27 种语言、4 类任务和 13 个数据集的基准显示，LLM-as-a-Judge 的提示策略效果不可迁移：评审模型的选择比提示策略更关键，策略效果在不同评审模型间方向相反，低资源语言下稳定性下降且被聚合报告掩盖。