arXiv Artificial Intelligence· Ekagra Gupta, Raj Saha, Aniekan-Abasi Inyang, Adam Al Gharib·· 18 小时前AI 评分58
Behavior Beyond Text：LLM 智能体的拒答迁移失败评测
Behavior Beyond Text: Evaluating Refusal Transfer Failure in LLM Agents
AI 导读
论文构建了 2,304 条提示词的基准，用同一有害或良性请求的纯文本、标准工具调用和对抗性工具调用三种匹配形式，评估 LLM 智能体的工具调用安全。测试五个不同规模和家族的模型发现，在聊天中被拒答的有害请求，在标准工具调用提示下仍有 10%–52% 触发不安全的工具调用。
来源：arXiv Artificial Intelligence · arxiv.org