arXiv Artificial Intelligence· Jialin Li, Zhenhao Chen, Hanjun Luo, Hanan Salam·· 3 小时前AI 评分47
MemPABench 如何评测个人智能体的交互偏好记忆
Why Bother Me Again? Benchmarking Personal Agent Memory for Interaction Preferences
AI 导读
研究者提出 MemPABench,一个用于个人智能体记忆在策略评估的交互环境,任务要求智能体判断何时澄清、确认或自主行动。环境含 4 个模拟用户、14 项偏好、99 个会话和每用户 5 次事件驱动偏好变更。在 4 个 LLM 底座上评测 4 种记忆系统,基于检索的 Mem0、MemOS 和简单 RAG 未超过无记忆基线,基于文件的记忆提升了准确率但会把偏好用到无关场景。
来源:arXiv Artificial Intelligence · arxiv.org