arXiv Artificial Intelligence· Xuan Wang, Zhuanhao Wu, Tingzhu Fang, Xushi Li, Sicheng Zhang, Zhenyu Yang, Feng Liu, Zhaohui Fan, Qiang Xie, Huayi Zou, Yuncong Liu, Zeyu Song, Ke Zhu, Yanjia Zeng, Jingchun Gao, Yan Shi, Kui Luo, Gezi Li, Liangjun Feng, Cheng Li·· 2 天前AI 评分39
FlashOffloading：面向长上下文 LLM 推理的低延迟 KV Cache 卸载方案
FlashOffloading: Low-Latency KV Cache Offloading for Long-Context LLM Serving
AI 导读
FlashOffloading 是一种以主机 DRAM 为中心的推理架构，将 prefill 与 decode 阶段的 KV cache 全部卸载到主机 DRAM，通过滚动 HBM 缓存、decode 热缓存、反向稀疏索引和计算-加载重叠 kernel 降低卸载延迟。
来源：arXiv Artificial Intelligence · arxiv.org