AWS Machine Learning Blog· Sunita Nadampalli·· 4 小时前AI 评分58
AWS 为 vLLM 推出 push 模式 KV 传输，降低分离式推理的 TTFT 与 TPOT
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
AWS 在 vLLM 中贡献了 push 模式的 NIXL KV 连接器，把解码侧的目标块注册与传输准备提前到 prefill 计算期间完成，从而移出首 token 的关键路径。
来源：AWS Machine Learning Blog · aws.amazon.com