arXiv Artificial Intelligence· Srikant Bharadwaj, Ankur Mallick, Spyridon Mastorakis, Anjaly Parayil, Dhruv Deshmukh, Victor Ruehle·· 17 小时前AI 评分38
GAUSS：面向 LLM 推理服务的负载感知分析与蒙特卡洛模拟器
GAUSS: A Workload-Aware Analytical and Monte-Carlo Simulator for LLM Inference Serving
AI 导读
GAUSS 是面向 LLM 推理服务的负载感知分析与蒙特卡洛模拟器，可预测给定负载、引擎和加速器下首 token 时延（TTFT）与 token 间时延（TBT）的完整分布及可持续请求速率。
来源：arXiv Artificial Intelligence · arxiv.org