arXiv Artificial Intelligence· Congjie He, Le Xu, Zhan Lu, Yeqi Huang, Haocheng Xiao, Cheng Deng, Lingxiao Ma, Ziming Miao, Fan Yang, Luo Mai·· 13 小时前AI 评分38
MeshRT：面向低延迟高吞吐推理的编译期治理晶圆级运行时
MeshRT: Compile-Time Governed Wafer-Scale Runtime for Low-Latency High-Throughput Inference
AI 导读
MeshRT 是首个在 LLM 推理上同时实现超低延迟与高吞吐的晶圆级系统，通过“编译期治理运行时动态性”架构，将 batching、MoE 等动态事件直接编译进每核调度，实现异步去中心化执行。在商用晶圆级加速器上，其吞吐相比同类最先进系统最高提升 56 倍；对比 H200 上实测的单实例 SGLang，延迟低 4.5-7.0 倍。该工作已被 SOSP 2026 接收。
推荐理由模型分析
MeshRT 针对晶圆级加速器难以高效支持 batching、MoE 等运行时动态推理技术的问题，提出“编译期治理运行时动态性”的系统架构，把动态事件编译进每核调度，实现异步去中心化执行。在商用晶圆级加速器上，其吞吐较现有最优系统最高提升 56 倍；与 H200 单实例 SGLang 实测相比延迟低 4.5–7.0 倍，按理想线性扩展至功耗匹配集群时解码吞吐高 1.7–13.0 倍。适合关注低延迟 LLM 服务系统栈的研究者与工程师参考，但集群对比为理想外推，非实测。
来源：arXiv Artificial Intelligence · arxiv.org