arXiv Artificial Intelligence· Cesare Barbera, Luca Stradiotti, Lorenzo Cascioli, Lorenzo Perini, Niek Tax, Daniel Haimovich, Jesse Davis, Andrea Passerini, Andrea Pugnana·· 18 小时前AI 评分29
CaLLM：缓解 LLM-as-a-judge 偏见的后处理多校准框架
A CaLLM Judge is a Better Judge: Mitigating Bias in LLM-as-a-judge
AI 导读
研究者提出 CaLLM，一个对 LLM 评委进行多校准的后处理框架，可同时约束位置、冗长、模型家族等多种已知与未知偏见。理论上 CaLLM 能约束任意可被现有表示捕捉的群体偏见，并给出其提升评委准确率而非牺牲准确率换校准的条件。在成对偏好基准上，CaLLM 降低了指定与未指定偏见组的多校准误差，同时提升了评委的预测性能。
来源：arXiv Artificial Intelligence · arxiv.org