arXiv Artificial Intelligence· Mark Heimann, Katherine Taylor, Bruno Jacob·· 13 小时前AI 评分38
法律合同审查提示注入攻击：11 个开源权重防护模型实测，文档级误报率最高达 92.39%
Notwithstanding Anything to the Contrary, Ignore All Instructions: Measuring Prompt Injection Guards on Legal Contract Review Attacks
AI 导读
研究在两组法律合同语料上测量了 11 个开源权重提示注入防护模型，文档级误报率最高达 92.39%，其中两个防护模型在配对 AUC 上低于随机水平，五正则基线在面板中未被任何防护模型帕累托支配。
推荐理由模型分析
该研究在两类法律合同语料上实测了11个开源提示注入防护模型，报告文档级误报率最高达92.39%，两个防护模型的配对AUC低于随机水平，而一个五正则基线未被任何防护模型帕累托支配。这为部署文档分析系统的开发者提供了可比较的误报基线和失败模式参考，也提示简单规则基线仍具竞争力。级联方案（中端模型初筛、前沿模型复核）成本约为纯前沿模型的1/6.5且性能接近，但结论限于法律合同场景和所测模型，尚不能外推到其他文档类型或生产环境。
来源：arXiv Artificial Intelligence · arxiv.org