跳到正文
arXiv Artificial Intelligence· Yue Zhao, Zixiang Xu, Angela Huyue Zhang, S. Alex Yang, Xiyang Hu·· 18 小时前AI 评分31

agent-risk:面向 AI 智能体变更的风险评估

agent-risk: Risk Assessment for Changes to AI Agents

AI 导读

agent-risk 通过重放日志评估已部署 AI 智能体的变更风险,假设其他条件不变且智能体不预判变更。在 bash 沙箱中,仅凭 7,200 条 episode 日志无法判定两个重试门控,而从保存状态重跑各门控被拦截的 episode,以实时测试一半的智能体调用量达到相同决策。缺少逐步危害记录时,停止门控的认证危害上限最高上升 2.5 倍。

来源:arXiv Artificial Intelligence · arxiv.org