arXiv Artificial Intelligence· Juan Parra-Ullauri, Anthony Chiu, Hari Madhukumar, Zhaozhou Wu, Anderson Bravalheri, Alex Healing, Andy Corston-Petrie, Dimitra Simeonidou, Nektaria Efthymiou·· 2 小时前AI 评分38
InferSlice：面向电信广域网的 SLO 驱动 LLM 推理参考架构
InferSlice: A Reference Architecture for SLO-driven LLM Inference over a Telco Wide-Area Network
AI 导读
BT 联合布里斯托大学与 NVIDIA 提出 InferSlice，在 JOINER 英国国家级广域网上实现 SLO 驱动的 LLM 推理参考架构，整合网络切片、GPU 分区、弹性服务与可观测性。评估显示不同服务层级呈现不同的延迟-吞吐区间，权重流式加载可缩短扩容时间；副本部署对位置不敏感但受内存限制，流水线并行可容忍近距与中距跨站跳转，而张量并行与预填充/解码分离在超过单子网跳后失效。
来源：arXiv Artificial Intelligence · arxiv.org