arXiv Artificial Intelligence· Leon Tu Nguyen, Rohan Menon, Rafael Tappe Maestro, Eric Aubinais, Chih-Hong Cheng·2026-10-20 12:00· 3 小时前AI 评分38

越狱评测的隐忧：攻击成功率实证研究揭示评估方法差异

Concerns in Benchmarking Jailbreaks: An Empirical Study of Attack Success Rates

AI 导读

针对三个开放权重语言模型的八种越狱攻击在三种评估流程下结果差异显著：低资源语言攻击在关键词匹配下平均 ASR 达 96.0%，而按 StrongREJECT 评分指令由 Qwen3 评估器判定时仅 2.7%。