跳到正文
arXiv Artificial Intelligence· Nils Palumbo, Sarthak Choudhary, Jihye Choi, Guy Amir, Prasad Chalasani, Isil Dillig, Somesh Jha·· 19 小时前AI 评分37

用 Datalog 与运行时监控为 AI 智能体系统做形式化策略执行

Formal Policy Enforcement for Agentic Systems

AI 导读

针对 AI 智能体系统易受攻击、现有防护粒度粗且无形式化正确性保证的问题,研究者提出基于运行时监控的智能体安全方法:用户用 Datalog 指定策略,系统通过构建事件图在运行时执行。当智能体即将执行工具调用等动作时,方法结合当前系统状态与历史事件判断该动作是否违反策略,并据此阻止或放行。作者已实现该方法并在多个 benchmark 上评估,验证其在真实场景中的效果。

来源:arXiv Artificial Intelligence · arxiv.org