热点事件观察中

FlashOffloading：长上下文 LLM 的 KV Cache 卸载方案

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

2026 年 11 月 6 日，arXiv Artificial Intelligence 刊出 Xuan Wang 等作者的论文，提出 FlashOffloading——一种以主机 DRAM 为中心的推理架构。据论文表述，该架构将 prefill 与 decode 两个阶段的 KV cache 全部卸载到主机 DRAM，并通过滚动 HBM 缓存、decode 热缓存、反向稀疏索引以及计算-加载重叠 kernel 来降低卸载延迟，目标场景为长上下文 LLM 推理服务。目前该工作处于论文发布阶段，报道中未提及代码开源、基准测试结果或实际部署情况，后续进展有待跟进。

AI 根据报道生成 · 2 天前更新

报道时间线

沿着报道，了解事件的不同侧面。

11月6日

13:00
arXiv Artificial Intelligence
FlashOffloading：面向长上下文 LLM 推理的低延迟 KV Cache 卸载方案
FlashOffloading 是一种以主机 DRAM 为中心的推理架构，将 prefill 与 decode 阶段的 KV cache 全部卸载到主机 DRAM，通过滚动 HBM 缓存、decode 热缓存、反向稀疏索引和计算-加载重叠 kernel 降低卸载延迟。

本事件热度走势

可比范围当前: 3
可比范围峰值: 711月7日 03:00
近 24 小时变化: -49%

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。