WAKMan：负载感知的 KVCache 管理器

WAKMan 是一个负载感知的 KV cache 管理器，无需知道请求类型或读取提示词，即可根据实时流量选择淘汰策略，平均将缓存命中率较 LRU 提升 5 个百分点。