arXiv Artificial Intelligence· Danny Kim, Fernando Koch·· 13 小时前AI 评分34
AI 智能体需要多少对话历史？BEAM 基准与消息保留实验给出答案
How Much Conversation History Does an AI Agent Need?
AI 导读
研究在 1,100 道 BEAM 问题上固定检索排序与 reader，测试五档段落预算，平均得分随预算增大而上升，但高预算段每增加一个 token 的得分增益递减。在带明确对话状态目标的受控任务中，保留用户消息时 Qwen 更常匹配完整状态，但答案依赖对早前提议的引用时其完整状态匹配率下降，Mistral 在各保留条件下接近下限。评分审计未能判定 BEAM 答案的正确性。
推荐理由模型分析
该文在1100道BEAM问题上固定检索排序与阅读器，比较五档段落预算，发现平均得分随预算增加而上升，但高预算段每token增益递减；可回答题更受益于更多上下文，而汇总弃答分数有时随预算缩小反而上升。消息保留实验显示Qwen在直接需求上保留用户消息更常匹配完整状态，但依赖早期提议引用时下降，Mistral各条件接近下限。适合RAG与对话记忆开发者据此权衡上下文预算，但作者指出评分审计未解决答案正确性，预算选择仍需按题目所需证据验证。
来源：arXiv Artificial Intelligence · arxiv.org