提出Token Window Pacing调度框架
热点事件持续更新
提出Token Window Pacing调度框架
1 篇报道1 个报道来源19 小时前更新
先了解这件事
AI 综述
2026年10月14日，arXiv Artificial Intelligence 刊出由 Hardi Ashishbhai Desai 等作者完成的研究，提出 Token Window Pacing（TWP），一种面向 Serverless LLM 推理的闭环调度框架。据该报道，TWP 利用 ITL、队列深度和工作负载特征的运行时反馈，在 token 级而非 batch 级调节请求准入，并结合分块 prefill 减少新请求对解码的干扰。报道称其目标是实现稳定的 token 级调度。目前该框架处于论文提出阶段，报道未给出实际部署、性能对比或开源实现等信息，后续进展有待跟进。
AI 根据报道生成 · 2 小时前更新
最新进展10月14日 12:00
面向 Serverless LLM 推理的稳定 Token 级调度报道时间线
沿着报道，了解事件的不同侧面。
10月14日
- arXiv Artificial Intelligence面向 Serverless LLM 推理的稳定 Token 级调度
研究者提出 Token Window Pacing（TWP），一种闭环调度框架，利用 ITL、队列深度和工作负载特征的运行时反馈，在 token 级而非 batch 级调节请求准入，并结合分块 prefill 减少新请求对解码的干扰。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。