跳到正文
arXiv Artificial Intelligence· Hau-Sing So, Daixian Liu, Weicai Long·· 17 小时前AI 评分49

掩蔽侵蚀:自我改进智能体的验收门如何丢失冗余防护

Masked Erosion: How Acceptance Gates Lose Redundant Safeguards in Self-Improving Agents

AI 导读

自我改进 LLM 智能体在验收门只按任务成功率筛选 harness 编辑时,会因防护重叠而静默删除冗余防护。研究在两种智能体环境中对四道书面防护的全部子集测量危害,运行 411 次改进循环和 10 条门规则,发现被其他防护掩盖的删除几乎不增加可观测危害;相同成本下 20 任务批次保住全部防护,40 任务批次丢失全部六道。

来源:arXiv Artificial Intelligence · arxiv.org