arXiv Artificial Intelligence· Bole Ma, Ayesha Afzal, Jan Eitzinger, Harald Koestler, Gerhard Wellein·· 17 小时前AI 评分38
只有被接受的 token 才算数：延迟目标下投机解码的能耗核算
Only Accepted Tokens Count: An Energy Accounting of Speculative Decoding Under Latency Targets
AI 导读
研究在 SGLang、启用 CUDA graphs 的 H100 和 H200 上测量投机解码能耗，batch size 最高 64、覆盖 5 个语料。稠密模型中验证而非起草主导能耗，节省随 batch 增大而缩小；大 batch 下 block drafter 把验证推入计算受限区间，节省转为亏损，低接受率 drafter 反而抬高每 token 能耗。
来源：arXiv Artificial Intelligence · arxiv.org