arXiv Artificial Intelligence· Anthony Rhodes, Gadi Singer·· 13 小时前AI 评分38
BMMS：按政策条件衡量语言模型行为合规性的评测套件
BMMS: Policy-Conditioned Measurement of Behavioral Compliance in Language Models
AI 导读
研究者提出 Behavioral Misalignment Metric Suite（BMMS），以政策语料为输入、输出合规画像，核心指标 CAS 衡量严重度加权的义务达成率，CRM 衡量在分级对抗压力下仍存留的达成比例。
推荐理由模型分析
BMMS 把行为评测从固定的幻觉、谄媚等维度，改为以具体政策文本为输入、输出合规画像，并引入 CAS、CRM 等指标；其准入检验以归因性为准，还据此剔除了套件自身报告的一个量。对需要按监管规则核查语言模型合规性的开发者，它提供了可比较的基线：在 1003 条义务上抽取保真度 94.6%，换用不同厂商评审时目标排序不变但绝对分可差 0.22。需注意证据来自论文实验，供应商规格上的准入精度为 94.4%，分析性指南仅 50.0%，现场合规判断仍受文档类型限制。
来源：arXiv Artificial Intelligence · arxiv.org