RPS-Serve多模态推理调度框架研究

2026年10月30日，arXiv Artificial Intelligence 刊出 Konstantinos Papaioannou 与 Thaleia Dimitra Doudali 的论文，提出面向多模态大语言模型推理的模态感知调度框架 RPS-Serve。该框架把视频、图像、文本分别类比为岩石、卵石和沙，让轻量文本请求快速穿过重负载请求，以兼顾 GPU 利用率与响应速度；其做法是估算每个请求的 GPU 准入成本并用轻量聚类分类，再结合带 aging 的优先级调度平衡各模态性能。据该论文称，在先进 MLLM 上评测，相比基于分离的多模态系统，RPS-Serve 使 GPU 利用率提升 65%，TTFT 最多降低 9.3 倍。目前事件进展停留在论文发布与自述评测结果阶段。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。