arXiv Artificial Intelligence· Xindan Zhang, Fei Wang·· 13 小时前AI 评分32
取消不足以解决问题：过载 LLM 引擎中重试留下了什么
Cancellation Is Not Enough: What Retries Leave Behind in an Overloaded LLM Engine
AI 导读
在 vLLM 上用三个开源模型做过载实验发现，开启重试时仅靠取消机制无法恢复服务，过载后到达的调用只有 12-38% 被成功交付。调度器追踪显示，vLLM 执行的重试通常在超时前不到半秒才开始 prefill，被中止的执行占用了其计算 prompt token 的 79-85%，且 prompt token 计数器漏计了三分之一到一半。
推荐理由模型分析
该文在 vLLM 上用三个开源模型做超载实验，并用调度器轨迹追踪每次客户端尝试对应的执行，比较了取消传播、重试预算和请求合并三种过载控制。结果显示仅靠取消无法恢复服务，重试预算能恢复服务但丢弃大量请求，请求合并则能送达全部请求（除非执行已被取消中止）。开发者可据此重新审视重试与取消策略的评测口径，但结论限于 vLLM 与所测模型和实验条件。
来源：arXiv Artificial Intelligence · arxiv.org