arXiv Artificial Intelligence· Hongyu Li, Xinlong Huang, Zhan Yu, Jing Zhao, Zhe Zhao, Juntao Zhong, Xiong Kuang, Rui Yuan, ZhenXiang Yan, Huilin Xu, Haitao Yu, Lilin Wang, Rui Chen, Blaze Chen, Fengzong Lian, Renfen Hu·· 18 小时前AI 评分42
DiagSafe：用提示级评分细则诊断评估 LLM 安全性
Beyond Binary Labels: Diagnostic Evaluation of LLM Safety with Prompt-Level Rubrics
AI 导读
研究者提出 DiagSafe 诊断评估框架，用提示级评分细则替代二分类安全标签，从安全性与有用性两个维度评估 LLM。该框架构建了基于 84 标签安全分类体系的中英双语基准，含 DiagBase 与 DiagAttack 两个子集。实验显示其与人工标注一致率达 95.34%，高于基线的 69%-87%，评判者间一致性 Cohen's κ 为 0.864。
来源：arXiv Artificial Intelligence · arxiv.org