LEST：规格驱动的LLM安全测试框架

2026年10月15日，arXiv Artificial Intelligence 刊出 Kausar Moshood 等作者的研究，提出 LEST（LLM Evaluation through Specification-driven Testing）框架，将 LLM 系统卡中记录的安全声明视为规格，对模型进行黑盒测试，通过变异提示词搜索反例并辅以人工验证。研究基于 Claude Opus 4.8 与 GPT-5.5 的系统卡以及 SORRY-Bench 的 97 条种子提示词展开：在识别出的 56 条安全声明中，仅 29 条（51.8%）可被提示词测试，其中只有 17 条（58.6%）有适用的基准提示词覆盖。经人工验证，仅 19 条（6.1%）同时满足意图保持与真正合规，说明自动化评估会大幅高估行为失败。研究据此指出，基准提示词可能不足以验证所有已记录的 LLM 安全行为，自动化失败检测需要人工验证。

AI 根据报道生成 · 59 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。