MOSAIC:按层分配 KV 缓存预算的搜索方法
热点事件持续更新
MOSAIC:按层分配 KV 缓存预算的搜索方法
1 篇报道1 个报道来源59 分钟前更新
先了解这件事
AI 综述
2026年10月20日,arXiv 人工智能板块出现 Sravanth Kodavanti 等作者的论文,提出 MOSAIC——一种多目标神经架构搜索方法,可为任意 KV cache 淘汰方法学习逐层缓存预算。报道称,研究在 Llama-3-8B-Instruct 和 Mistral-7B-Instruct-v0.2 上测试四种淘汰方法,在 154 个(任务、方法、预算)设置中有 146 个优于均匀分配,RULER 最高提升 48 分,LongBench(LCC)提升 11.9 分。目前该事件仅有这一篇主报道,尚无跟进报道或相互矛盾的数字与说法;上述提升幅度与测试范围均限于报道所述模型、淘汰方法与基准,未涉及其他模型或实际部署场景。
AI 根据报道生成 · 36 分钟前更新
最新进展10月20日 12:00
MOSAIC:为 LLM 解码器各层分配推理缓存的多数目标搜索报道时间线
沿着报道,了解事件的不同侧面。
10月20日
- arXiv Artificial IntelligenceMOSAIC:为 LLM 解码器各层分配推理缓存的多数目标搜索
MOSAIC 是一种多目标神经架构搜索方法,可为任意 KV cache 淘汰方法学习逐层缓存预算。在 Llama-3-8B-Instruct 和 Mistral-7B-Instruct-v0.2 上测试四种淘汰方法,MOSAIC 在 154 个(任务、方法、预算)设置中的 146 个优于均匀分配,RULER 最高提升 48 分,LongBench(LCC)提升 11.9 分。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。