arXiv Artificial Intelligence· Mankeerat Sidhu, Gangmuk Lim, Hetarth Chopra, Maximillian Eisenberg, Quan Hao Ng, Aryan Gosaliya, Shu Liu, Luka Govedi\v{c}, Jiaxin Shan, Hongkuan Zhou, Vikram Sharma Mailthody, P. Brighten Godfrey, Ion Stoica·· 2 小时前AI 评分40
Koi：面向多云异构 LLM 推理集群的证据引导自校准规划器
Koi: Evidence-Guided, Self-Calibrating Planning for Multi-Cloud, Heterogeneous LLM Inference Fleets
AI 导读
Koi 是一个面向异构多云 LLM 推理集群的自校准规划器，在真实异构集群上实现比最强基线高 1.18 倍的 goodput，并将 $/token 降低 20%。
来源：arXiv Artificial Intelligence · arxiv.org