跳到正文
热点事件持续更新

研究：LLM引擎过载下重试与取消失效

1 篇报道1 个报道来源12 小时前更新

先了解这件事

AI 综述

2026年11月9日，arXiv人工智能板块刊出Xindan Zhang、Fei Wang的论文，研究过载LLM引擎中重试与取消机制的实际效果。作者在vLLM上对三个开源模型做过载实验，并对其中一个模型用调度器追踪，把每次客户端尝试对应到引擎内产生的执行。实验发现，开启重试时仅靠取消机制无法恢复服务：过载后到达的调用只有12%至38%被成功交付。调度器追踪显示，vLLM执行的重试通常在超时前不到半秒才开始prefill；被中止的执行占用了其计算prompt token的79%至85%；prompt token计数器漏计了三分之一到一半。论文据此指出，取消不足以解决问题，重试在过载引擎中留下了未被计入的消耗。目前该研究处于论文发布阶段，尚无后续跟进报道。

AI 根据报道生成 · 12 小时前更新

最新进展11月9日 13:00
取消不足以解决问题：过载 LLM 引擎中重试留下了什么

报道时间线

沿着报道，了解事件的不同侧面。

11月9日
  1. arXiv Artificial Intelligence
    取消不足以解决问题：过载 LLM 引擎中重试留下了什么

    在 vLLM 上用三个开源模型做过载实验发现，开启重试时仅靠取消机制无法恢复服务，过载后到达的调用只有 12-38% 被成功交付。调度器追踪显示，vLLM 执行的重试通常在超时前不到半秒才开始 prefill，被中止的执行占用了其计算 prompt token 的 79-85%，且 prompt token 计数器漏计了三分之一到一半。

本事件热度走势

可比范围当前
7
可比范围峰值
1011月9日 14:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。