arXiv Artificial Intelligence· Ruicheng Ao, Jing Dong, Gan Luo, David Simchi-Levi·2026-10-20 12:00· 3 小时前AI 评分34

内存受限 LLM 服务中的服务自致拥塞机制

Service-Induced Congestion in Memory-Constrained LLM Serving

AI 导读

研究提出内存受限 LLM 推理的离散时间动力学模型，刻画连续批处理下的请求准入、KV cache 增长与驱逐过程。在饱和输入下，无驱逐不动点不稳定，系统除零测集外收敛到唯一最坏极限环，吞吐损失最高达 50%。异构负载下，互质解码长度可稳定无驱逐平衡，非互质长度则产生同步模式引发失稳。