跳到正文
arXiv Artificial Intelligence· Kausar Moshood, Jace Bolante, Roshan Aditya Murali, Manish Motwani·· 17 小时前AI 评分31

LEST:用规格驱动测试检验 LLM 安全声明,Claude Opus 4.8 与 GPT-5.5 系统卡实测

Specification-Based Testing of Large Language Models

AI 导读

研究者提出 LEST 框架,将 LLM 系统卡中的安全声明当作规格进行黑盒测试,通过变异提示词搜索反例并人工验证。基于 Claude Opus 4.8 和 GPT-5.5 系统卡与 SORRY-Bench 的 97 条种子提示词,56 条安全声明中仅 29 条可被提示词测试,其中 17 条有对应基准提示词覆盖。

来源:arXiv Artificial Intelligence · arxiv.org