arXiv Artificial Intelligence· Jasper Dekoninck, Maximilian Baader, Martin Vechev·2026-10-15 12:00· 19 小时前AI 评分22

Polyrating：一种低成本、偏差感知的 LLM 评估评分系统

Polyrating: A Cost-Effective and Bias-Aware Rating System for LLM Evaluation

AI 导读

Polyrating 是一种基于最大后验估计的 LLM 评分系统，可检测并量化影响人类偏好的偏差，实现更公平的模型比较。它利用已有基准分数，将新模型的人类评估成本最多降低 41%，新任务最多降低 77%。该系统还支持跨不同任务直接比较评分，从而全面了解 LLM 在不同应用中的优势、劣势与相对表现。