arXiv Artificial Intelligence· Konstantinos Papaioannou, Thaleia Dimitra Doudali·· 17 小时前AI 评分38
RPS-Serve：面向多模态大语言模型推理的模态感知调度框架
Rocks, Pebbles and Sand: Modality-aware Scheduling for Multimodal Large Language Model Inference
AI 导读
RPS-Serve 是一个模态感知调度框架，将视频、图像、文本分别视为岩石、卵石和沙，让轻量文本请求快速穿过重负载请求，兼顾 GPU 利用率与响应速度。它通过估算每个请求的 GPU 准入成本并用轻量聚类分类，再结合带 aging 的优先级调度平衡各模态性能。在先进 MLLM 上评测，相比基于分离的多模态系统，GPU 利用率提升 65%，TTFT 最多降低 9.3 倍。
来源：arXiv Artificial Intelligence · arxiv.org