arXiv Artificial Intelligence· Kakei Yamamoto, So Kuroki·· 18 小时前AI 评分27
PRISM:用反事实探针校准黑盒 LLM 评审
PRISM: Calibrating Black-Box Judges with Counterfactual Probes
AI 导读
PRISM(Probe-based Residual Inference of Scoring Misalignment)通过固定被评内容、测量属性被强调或弱化时的分数变化,将评审对显式评价偏置的响应表示为代理 Jacobian,再用岭回归在人工标签上学习对基线分数的校正。
来源:arXiv Artificial Intelligence · arxiv.org