研究：LLM解码阶段功耗封顶收效有限

2026年10月30日，arXiv Artificial Intelligence 刊出 Bole Ma 等作者的论文，分析 LLM 解码阶段功耗封顶的能耗特征。研究在 NVIDIA H200 上以 vLLM eager 模式测试 GQA、MLA、Gated DeltaNet 和 Mamba2 四种注意力架构，发现功耗封顶对主导 LLM 服务的自回归解码几乎无效：解码内核受限于 HBM，内核启动间 GPU 空转，功耗不足 700W 额定值的一半，各封顶设置下吞吐差异仅几个百分点。报道称，封顶只在大批量长生成时才生效；作者提出改为锁定 SM 时钟，可在不拖慢受限于内存的解码的同时降低功耗，以极小吞吐损失回收最多 32% 的解码能耗。上述结论均限于该测试环境与架构范围。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。