arXiv Artificial Intelligence· Bole Ma, Ayesha Afzal, Jan Eitzinger, Gerhard Wellein·· 17 小时前AI 评分38
LLM 解码阶段的功耗封顶为何收效甚微：跨注意力架构的分阶段能耗分析
The Illusion of Power Capping in LLM Decode: A Phase-Aware Energy Characterisation Across Attention Architectures
AI 导读
在 NVIDIA H200 上用 vLLM eager 模式测试 GQA、MLA、Gated DeltaNet 和 Mamba2 四种注意力架构发现，功耗封顶对主导 LLM 服务的自回归解码几乎无效：解码内核受限于 HBM、内核启动间 GPU 空转，功耗不足 700W 额定值的一半，各封顶设置下吞吐差异仅几个百分点。
来源：arXiv Artificial Intelligence · arxiv.org