跳到正文
arXiv Artificial Intelligence· Yunhao Feng, Yifan Ding, Yuxiang Xie, Zheng Li, Mingrui Lao, Zeyuan Wang, Yanming Guo·· 18 小时前AI 评分34

AdaGuard:支持用户自定义策略的自适应防护模型

AdaGuard: An Adaptive Guard Model with User-defined Policies

AI 导读

AdaGuard 是一组 0.6B、4B、8B 的防护模型,可在推理时按用户提供的策略评估语言模型智能体的轨迹。其 4B 模型在 AdaptiveSafety 上二分类准确率达 89.30%,在 DynaBench 上为 71.82%。研究同时发布含 10,939 条训练样本和 1,000 条测试样本的 AdaptiveSafety 数据集,并提出强化学习算法 SafePO。

来源:arXiv Artificial Intelligence · arxiv.org