arXiv Artificial Intelligence· Ren\'ee St. Amant, Anjaly Parayil, Ankur Mallick, Victor R\"uhle·· 13 小时前AI 评分38
生成式 AI 推理服务基础设施的资本效率、隔离、风险与破产
Capital Efficiency, Isolation, Risk, and Ruin in Generative AI Inference Serving Infrastructure
AI 导读
针对生成式 AI 推理服务中请求成本极度异构的问题，论文提出以工作负载隔离作为提升机队级资本效率的基础手段：按成本特征将请求分组分配到机队不同部分，避免高成本请求决定整体运行点。隔离本身不降低单个昂贵请求的成本，但为窄带优化、定制芯片设计和定价策略提供基础。
推荐理由模型分析
该文从集群层面提出按请求成本特征做工作负载隔离，避免高成本请求拖累整机群的运行点与资本效率，并指出隔离本身不降低单请求成本，而是为窄带调优、定制芯片和定价策略打基础。对推理服务运营者，可据此比较按成本分组调度与全量混跑的基线差异；证据来自代表性生产数据与经验，属方法论述，未给出具体降本比例或部署验证。
来源：arXiv Artificial Intelligence · arxiv.org