量化LLM推理能效统一评估研究

2026年10月15日，arXiv Artificial Intelligence 发布一项面向绿色 AI 的研究，对量化 LLM 推理的能效进行统一评估。该研究在 NVIDIA H100、A6000、A100 和 L4 GPU 上，测试了 10 种训练后量化（PTQ）策略对 Llama 2 7B、Phi 3.5 Mini Instruct、OLMo 1B、Qwen 2.5 7B 和 Qwen 2.5 14B 推理能效的影响。来源证据称，这是首个针对 LLM 推理的权重-only 量化策略统一评估，覆盖不同输入/输出长度和 GPU，除准确率下降与运行时间外，还突出能效差异。目前进展限于该论文的发布与上述评估范围，尚无后续跟进报道。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。