arXiv Artificial Intelligence· Sravanth Kodavanti, Manjunath Arveti·· 2 小时前AI 评分34
MOSAIC：为 LLM 解码器各层分配推理缓存的多数目标搜索
MOSAIC: Multi-Objective Search for Allocating Inference Cache Across LLM Decoder Layers
AI 导读
MOSAIC 是一种多目标神经架构搜索方法，可为任意 KV cache 淘汰方法学习逐层缓存预算。在 Llama-3-8B-Instruct 和 Mistral-7B-Instruct-v0.2 上测试四种淘汰方法，MOSAIC 在 154 个（任务、方法、预算）设置中的 146 个优于均匀分配，RULER 最高提升 48 分，LongBench（LCC）提升 11.9 分。
来源：arXiv Artificial Intelligence · arxiv.org