arXiv Artificial Intelligence· Hardi Ashishbhai Desai, Balaji N K, Sourav Kanti Addya·2026-10-14 12:00· 20 小时前AI 评分24

面向 Serverless LLM 推理的稳定 Token 级调度

Stable Token-level Scheduling for Serverless LLM Inference

AI 导读

研究者提出 Token Window Pacing（TWP），一种闭环调度框架，利用 ITL、队列深度和工作负载特征的运行时反馈，在 token 级而非 batch 级调节请求准入，并结合分块 prefill 减少新请求对解码的干扰。