arXiv Artificial Intelligence· Shihao Weng, Yang Feng, Xiaofei Xie·· 2 天前AI 评分42
LLM 安全评判器是否具备策略不变性?一项三原则压力测试
Are LLM Safety Judges Policy-Invariant? A Three-Principle Stress-Test
AI 导读
研究提出 LLM-as-a-Judge 安全评判器应满足"策略不变性",并将其拆解为评分标准语义不变性、阈值不变性和歧义感知校准三项可测试原则。在 ASSEBench 与 R-Judge 轨迹上测试四类智能体评判器发现,保持内容不变的政策改写可使最多 9.1% 的判定翻转,且 18-43% 的翻转发生在无歧义案例上,说明评判器无法区分有意义的规范变化与无意义的结构改写。
来源:arXiv Artificial Intelligence · arxiv.org