Bemula：LLM 智能体记忆遗忘基准测试

研究者提出 Bemula，首个专门评估 LLM 智能体记忆遗忘能力的基准，包含 50 个多轮对话实例、6 类共 135 条遗忘请求和 1742 道测试题，每段对话配有不含请求的对照版本。在三种主干 LLM 下评测六种主流记忆系统，所有系统端到端通过的遗忘请求均不超过 1.5%，多数系统一条都未通过，要么信息仍可被简单攻击提取，要么删除范围远超请求。