arXiv Artificial Intelligence· Ram Vikas Mishra, Shashank Aggarwal, Jahnavi Kumar, Amit Awekar·· 18 小时前AI 评分31
研究:用部分生成分离提示词危害性与交互安全性
Separating Prompt Harmfulness from Interaction Safety via Partial Generation
AI 导读
研究提出用部分生成结果判断 LLM 交互安全性,而非仅凭提示词分类。团队构建了含 41,944 个提示词-响应对的数据集,覆盖 Llama、Gemma、Qwen 三个家族的七个开源权重模型,发现提示词标签与响应标签仅在 50.46% 的样本上一致(Cohen's κ = 0.06),在任一模型上引发有害响应的提示词中仅 3.5% 对全部七个模型都有害。
来源:arXiv Artificial Intelligence · arxiv.org