热点事件持续更新

AWS 为 vLLM 推出推式 KV 传输优化

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

2026年10月20日，AWS Machine Learning Blog 发文介绍其在 vLLM 中贡献的推式（push）NIXL KV 连接器，用于分离式推理中的 KV 缓存传输。该方案把解码侧的目标块注册与传输准备提前到 prefill 计算期间完成，使 post-prefill 的传输协调与建立移出首 token 的关键路径，从而降低 TTFT 与 TPOT。使用推式模式需在 prefill 与 decode 两端服务器均配置 NixlPushConnector 替代 NixlConnector；报道建议在可接受提前选定解码节点、且以降低 TTFT 为优先时选用推式连接器，而需要双向 KV 传输或在 prefill 后按负载感知路由再选解码实例的工作负载仍更适合拉式连接器。报道称该特性也可在其他受支持配置上运行，但性能会因硬件、模型、工作负载与网络配置而异。

AI 根据报道生成 · 3 小时前更新

最新进展10月20日 00:05

AWS 为 vLLM 推出 push 模式 KV 传输，降低分离式推理的 TTFT 与 TPOT

报道时间线

沿着报道，了解事件的不同侧面。

10月20日

00:05
AWS Machine Learning Blog
AWS 为 vLLM 推出 push 模式 KV 传输，降低分离式推理的 TTFT 与 TPOT
AWS 在 vLLM 中贡献了 push 模式的 NIXL KV 连接器，把解码侧的目标块注册与传输准备提前到 prefill 计算期间完成，从而移出首 token 的关键路径。

本事件热度走势

可比范围当前: 9
可比范围峰值: 1010月20日 01:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。