arXiv Artificial Intelligence· Yunhao Feng, Yifan Ding, Yuxiang Xie, Zheng Li, Mingrui Lao, Zeyuan Wang, Yanming Guo·· 18 小时前AI 评分34
AdaGuard:支持用户自定义策略的自适应防护模型
AdaGuard: An Adaptive Guard Model with User-defined Policies
AI 导读
AdaGuard 是一组 0.6B、4B、8B 的防护模型,可在推理时按用户提供的策略评估语言模型智能体的轨迹。其 4B 模型在 AdaptiveSafety 上二分类准确率达 89.30%,在 DynaBench 上为 71.82%。研究同时发布含 10,939 条训练样本和 1,000 条测试样本的 AdaptiveSafety 数据集,并提出强化学习算法 SafePO。
来源:arXiv Artificial Intelligence · arxiv.org