arXiv Artificial Intelligence· Kazi Hasan Ibn Arif, JinYi Yoon, Dimitrios S. Nikolopoulos, Hans Vandierendonck, Deepu John, Bo Ji·· 13 小时前AI 评分36
面向高效 LLM 服务的意图感知缓存（Intent-Aware Caching）
Intent-Aware Caching for Efficient LLM Serving
AI 导读
研究者提出 Intent-Aware Caching（IAC），一种按用户意图分类请求、从近期服务日志学习轻量复用统计并据此指导淘汰策略的在线缓存淘汰方案。在 WildChat 和 ShareChat 真实负载上，IAC 缓存命中率达 34.6%，高于此前基于学习的方法（18.8%）和 LRU（12.2%），平均服务延迟最多降低 46.1%。
推荐理由模型分析
针对多轮对话前缀缓存命中率受“对话是否继续、下一轮何时到来”制约的问题，IAC 用用户意图分类结合近期日志中的轻量复用统计来指导缓存淘汰。在 WildChat 和 ShareChat 真实负载上，命中率 34.6%，高于此前学习型方法 18.8% 与 LRU 12.2%，平均服务延迟最多降低 46.1%。做 LLM 推理服务、KV 缓存调度的开发者可据此比较淘汰策略基线，但结论限于这两个对话数据集与在线日志可得的前提。
来源：arXiv Artificial Intelligence · arxiv.org