arXiv Artificial Intelligence· Zeyu Yang, Wes Armour·2026-10-14 12:00· 18 小时前AI 评分40

开源权重 LLM 推理能效实测：跨基准、推理模式与硬件

Measuring the Inference Energy Efficiency of Open-Weight LLMs across Benchmarks, Reasoning Modes, and Hardware

AI 导读

研究直接测量了 86 个开源权重模型检查点在 7 个基准和 6 种硬件平台上的推理能效，发现能力相近的模型能效差异巨大，多数配置比同等得分的最优配置多耗 2.6–4.8 倍能量，差距最高达 27 倍。