提出首个记忆遗忘基准Bemula
热点事件持续更新
提出首个记忆遗忘基准Bemula
1 篇报道1 个报道来源19 小时前更新
先了解这件事
报道摘要
研究者提出 Bemula，首个专门评估 LLM 智能体记忆遗忘能力的基准，包含 50 个多轮对话实例、6 类共 135 条遗忘请求和 1742 道测试题，每段对话配有不含请求的对照版本。在三种主干 LLM 下评测六种主流记忆系统，所有系统端到端通过的遗忘请求均不超过 1.5%，多数系统一条都未通过，要么信息仍可被简单攻击提取，要么删除范围远超请求。
摘自 arXiv Artificial Intelligence
最新进展10月14日 12:00
Bemula：LLM 智能体记忆遗忘基准测试报道时间线
沿着报道，了解事件的不同侧面。
10月14日
- arXiv Artificial IntelligenceBemula：LLM 智能体记忆遗忘基准测试
研究者提出 Bemula，首个专门评估 LLM 智能体记忆遗忘能力的基准，包含 50 个多轮对话实例、6 类共 135 条遗忘请求和 1742 道测试题，每段对话配有不含请求的对照版本。在三种主干 LLM 下评测六种主流记忆系统，所有系统端到端通过的遗忘请求均不超过 1.5%，多数系统一条都未通过，要么信息仍可被简单攻击提取，要么删除范围远超请求。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。