arXiv Artificial Intelligence· Junming Zhang, Rubin Wei, Xu Cheng, Hao Sun, Ruoxi Cheng, Xiquan Wang, Peisong Wu, Mingsong Chen, Zhouhan Lin·· 2 小时前AI 评分38
HABIT-Bench:评估智能体记忆系统从纵向弱证据中推断习惯的能力
HABIT-Bench: Evaluating Habit Induction from Longitudinal Weak Evidence in Agent Memory
AI 导读
HABIT-Bench 用于评估智能体记忆系统能否从弱证据中推断用户习惯并应用到后续请求。该基准基于任务型对话数据和受控习惯图构建覆盖餐饮、金融、软件、旅行四大领域的合成用户历史,采用四选一任务并包含临时例外、习惯变化和用户未接受的建议。用 Qwen3-235B-A22B 和 GLM-5.3-Flash 评测八种记忆方法,最佳方法宏平均准确率仅 33.61%,即使直接提供标注证据表现仍有限。
来源:arXiv Artificial Intelligence · arxiv.org