arXiv Artificial Intelligence· Lars Krupp, Daniel Gei{\ss}ler, Francisco M. Calatrava-Nicolas, Stefan Gerd Fritsch, Paul Lukowicz, Jakob Karolus·· 17 小时前AI 评分38
预测 LLM 预填充与解码阶段计算时间和能耗的真实上下文成本
The Real Cost of Context: Predicting Compute Time and Energy Consumption in LLM Prefill and Decode Phases
AI 导读
研究系统测量了 LLM 在不同 prefill（输入）与 decode（输出）token 长度下的计算时间和能耗，发现 decode 阶段的计算时间与能耗随输出长度线性增长，而 prefill 阶段则随输入长度呈线性与二次方双重扩展。
来源：arXiv Artificial Intelligence · arxiv.org