投机解码能耗核算研究

2026年10月30日，Bole Ma等作者在arXiv提交论文，研究投机解码在生产服务条件下的能耗核算。研究在SGLang、启用CUDA graphs的H100和H200 GPU上测量投机解码能耗，batch size最高64、覆盖5个语料。结果显示：稠密模型中验证而非起草主导能耗，节省随batch增大而缩小；大batch下block drafter把验证推入计算受限区间，节省转为亏损，低接受率drafter反而抬高每token能耗。论文强调只有被接受的token才算数，聚焦延迟目标下的能耗核算。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。