跳到正文
arXiv Artificial Intelligence· Huihao Jing, Shaojin Chen, Wenbin Hu, Yuxuan Liu, Haochen Shi, Zhongwei Xie, Haoran Li, Yangqiu Song·· 18 小时前AI 评分38

同一操作,不同权限:评估 Guardrails 是否遵循授权

Same Operation, Different Permission: Evaluating Whether Guardrails Honor Authorization

AI 导读

研究者提出基准 \bench{},用专家标注的自然语言场景、已执行验证的操作及外部原生策略请求,对比同一操作在语言轨道上的授权证据,并检查每次决策的正确性、可用性与实际效果。实验显示,许多被拦截的操作源于审查失败而非正确拒绝;修复输出格式可恢复可用决策但会改变被放行的授权请求,增加第二名审查者能消除部分错误却会拒绝有效授权。

来源:arXiv Artificial Intelligence · arxiv.org