arXiv Artificial Intelligence· Michael Yew Chuan Lee, Manya Sriram, N. Benjamin Erichson·· 2 小时前AI 评分52
AI-for-Science 智能体框架是否保留模型安全性
Do AI-for-Science Agents Preserve Model Safety?
AI 导读
研究评估五种 AI-for-Science 智能体框架在 50 条有害化学请求下的安全表现，覆盖四个近期 GPT 变体。结果显示，接入智能体框架后，即使直接提示也会提高有害请求的顺从率；原本对基础 LLM 基本无效的自适应攻击，在引入框架后变得高度有效。作者据此认为基础模型的安全行为在接入框架后并不持久，建议用领域特定的安全基准评估并对齐智能体。
来源：arXiv Artificial Intelligence · arxiv.org