arXiv Artificial Intelligence· Chao Shang, Wanyu Du, Yi Zhang, Sandesh Swamy·· 18 小时前AI 评分31
AgentPolicyForge:从可执行环境到策略基准与自适应防护
AgentPolicyForge: From Executable Environments to Policy Benchmarks and Adaptive Guards
AI 导读
AgentPolicyForge 用可执行环境构建策略基准并迭代训练策略防护模型,配套数据集 PolicyGym 覆盖十类策略、698 个场景用于生成训练数据、254 个独立留出场景用于人工审核测试集。所有违规案例均使用被允许的工具,需检查参数、资源与上下文而非仅看工具身份。最终基于防护的配置在 PolicyGym 上将攻击成功率相对降低 40-44%,良性拒绝少于仅用策略提示词。
来源:arXiv Artificial Intelligence · arxiv.org