CaLLM：多校准缓解LLM评判偏见

2026年10月15日，arXiv Artificial Intelligence 刊出研究报道，研究者 Cesare Barbera 等作者提出后处理框架 CaLLM，用于对 LLM-as-a-judge（LLM 评委）进行多校准，以缓解其评判偏见。该框架可同时约束位置、冗长、模型家族等多种已知与未知偏见。报道称，理论上 CaLLM 能约束任意可被现有表示捕捉的群体偏见，并给出其提升评委准确率而非牺牲准确率换校准的条件。在成对偏好基准上，CaLLM 降低了指定与未指定偏见组的多校准误差，同时提升了评委的预测性能。目前该事件仅有这一篇报道，尚无后续跟进报道，也未出现与早先报道数字、时间或说法不一致的情况。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。