RadixFlow 解耦前缀匹配与状态就绪的调度方法

2026年10月14日，arXiv 人工智能板块报道，Huihao Jing 等作者提出 RadixFlow，一种面向前缀缓存混合 LLM 服务的调度方法。该方法将前缀匹配与状态就绪解耦，把全局扫描屏障变为局部等待，以避免混合 LLM 服务中消费者分支等待生产者循环状态而造成的队头阻塞。据该报道，在五个混合模型上，RadixFlow 使平均延迟降低 3% 至 24%，worker 轮次减少 11% 至 44%，复用率几乎不变；在更大的 Qwen3.5 模型上，消融显示大部分收益来自遍历，而遍历在全注意力对照上增益很小，同时更重的轮次限制了这些节省转化为延迟收益的程度。目前进展限于该报道所述的实验结果，尚无其他跟进报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。