arXiv Artificial Intelligence· Huihao Jing, Wenbin Hu, Shaojin Chen, Haochen Shi, Haoyu Huang, Sirui Zhang, Yuxuan Liu, Zhongwei Xie, Haoran Li·· 20 小时前AI 评分22
RadixFlow：在前缀缓存混合 LLM 服务中填补执行气泡
RadixFlow: Filling Execution Bubbles in Prefix-Cached Hybrid LLM Serving
AI 导读
RadixFlow 将前缀匹配与状态就绪解耦，把全局扫描屏障变为局部等待，避免混合 LLM 服务中因消费者分支等待生产者循环状态而造成的队头阻塞。在五个混合模型上，平均延迟降低 3% 至 24%，worker 轮次减少 11% 至 44%，复用率几乎不变。在更大的 Qwen3.5 模型上，消融显示大部分收益来自遍历，而更重的轮次限制了延迟收益。
来源：arXiv Artificial Intelligence · arxiv.org