arXiv Artificial Intelligence· Yixuan Mei, Zikun Li, Zixuan Chen, Shiqi Pan, Mengdi Wu, Xupeng Miao, Zhihao Jia, K. V. Rashmi·· 3 小时前AI 评分31
Coral：面向异构云 GPU 的高性价比多 LLM 服务系统
Coral: Cost-Efficient Multi-LLM Serving over Heterogeneous Cloud GPUs
AI 导读
Coral 是一个面向异构云 GPU 的自适应多 LLM 服务系统，通过联合优化资源分配与副本服务策略降低服务成本。其无损两阶段分解在保持联合最优性的同时，将在线求解时间从数小时缩短至数十秒。在 6 个模型和 20 种 GPU 配置上的评测显示，Coral 相比最强基线最多降低 2.79 倍服务成本，在资源紧缺下 goodput 最高提升 2.39 倍。
来源：arXiv Artificial Intelligence · arxiv.org