跳到正文
arXiv Artificial Intelligence· Woosang Lim (SAINT Machines, KAIST), Yeseul Chang (Chung-Ang University), Jaewoo Lee (Chung-Ang University)·· 2 天前AI 评分42

SPILLWAY:将目标准入与净化分离,防御工具型智能体的提示注入攻击

SPILLWAY: Separating Target Admission from Sanitization to Defend Tool-Using Agents against Prompt Injection

AI 导读

SPILLWAY 通过读取工具的类型化返回值来判断动作目标,把目标准入与净化分离,在三个骨干模型上均无标准模板化注入能将动作重定向至攻击者目标。该防御在已发布的强化学习攻击者下平均范围内攻击成功率为 .007,伪造聊天模板同样为零,且无需防御触发的骨干重跑、几乎不增加模型调用。确定性净化器在模型读取前移除指令类文本并保留被删片段作为证据,本地裁判可恢复被拒调用,但目标落在被删文本中的调用不可恢复。

来源:arXiv Artificial Intelligence · arxiv.org