跳到正文
arXiv Artificial Intelligence· Haoran Bu, Yiting Shen, Litian Zhang, Ruihan Hu, Xi Zhang·· 17 小时前AI 评分42

基于社交互动的角色锚定攻击:让 Agent 记忆误认用户偏好

Is it my preference? Role Grounding Attack against Agent's Memory via Social Interaction

AI 导读

研究者提出角色锚定攻击(RGA),利用嵌套对话结构让受害 Agent 把攻击者的偏好错误记成自己用户的偏好,在记忆检索阶段持续影响决策。该攻击可实例化为工具选择操纵和隐私泄露,在五种主流记忆系统与六种语言模型上均取得高攻击成功率。

来源:arXiv Artificial Intelligence · arxiv.org