arXiv Artificial Intelligence· Hayder Tirmazi·· 17 小时前AI 评分34
为世界模型做上下文压缩:检索范围可超出上下文窗口 4 倍
Context Compaction for World Models
AI 导读
研究者为世界模型构建了上下文检索基准,并搭建执行上下文压缩的智能体框架,使世界模型无需重训练即可检索超出上下文窗口最多 4 倍的房间。该基准每回合生成新世界,避免模型靠训练数据回忆房间,并将上下文检索与基于邻近帧的猜测区分开。研究还发现,采用滑动窗口注意力的世界模型在"做梦"时会丢失大部分上下文检索能力。
来源:arXiv Artificial Intelligence · arxiv.org