InferSlice:电信广域网SLO驱动LLM推理架构
热点事件持续更新
InferSlice:电信广域网SLO驱动LLM推理架构
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
2026年10月26日,BT联合布里斯托大学与NVIDIA在arXiv发表论文,提出面向电信基础设施的SLO驱动LLM推理参考架构InferSlice,整合网络切片、GPU分区、弹性服务与可观测性,并在JOINER英国国家级广域网上开展评估。评估显示,不同服务层级呈现不同的延迟-吞吐区间;权重流式加载可缩短扩容时间;副本部署对位置不敏感但受内存限制;流水线并行可容忍近距与中距跨站跳转,而张量并行与预填充/解码分离在超过单子网跳后失效。该报道为事件首篇,暂无后续跟进报道,亦无与早先报道矛盾之处。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 12:00
InferSlice:面向电信广域网的 SLO 驱动 LLM 推理参考架构报道时间线
沿着报道,了解事件的不同侧面。
10月26日
- arXiv Artificial IntelligenceInferSlice:面向电信广域网的 SLO 驱动 LLM 推理参考架构
BT 联合布里斯托大学与 NVIDIA 提出 InferSlice,在 JOINER 英国国家级广域网上实现 SLO 驱动的 LLM 推理参考架构,整合网络切片、GPU 分区、弹性服务与可观测性。评估显示不同服务层级呈现不同的延迟-吞吐区间,权重流式加载可缩短扩容时间;副本部署对位置不敏感但受内存限制,流水线并行可容忍近距与中距跨站跳转,而张量并行与预填充/解码分离在超过单子网跳后失效。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。