arXiv Robotics· Xiangyu Li, Huaizhi Tang, Xin Ding, Weijun Wang, Ting Cao, Yunxin Liu·· 4 小时前AI 评分33
OxyGen：多任务并行下 VLA 推理的统一 KV Cache 管理
OxyGen: Unified KV Cache Management for VLA Inference under Multi-Task Parallelism
AI 导读
OxyGen 提出统一 KV cache 管理，将 KV cache 视为跨任务与控制周期共享的一等资源，通过跨任务 KV 共享消除共享观测的冗余 prefill，并用跨帧连续批处理在每帧解码预算内推进未完成的语言请求。
来源：arXiv Robotics · arxiv.org