开放权重LLM推理能效实测

2026年10月14日，arXiv Artificial Intelligence 刊出 Zeyu Yang 与 Wes Armour 的研究，直接测量开放权重大语言模型的推理能效。该研究覆盖 86 个开放权重模型检查点，在 7 个基准和 6 种硬件平台（从消费级 GPU 到八卡服务器）上评估。结果显示，能力相近的模型之间能效差异巨大，多数配置比同等得分的最优配置多耗 2.6–4.8 倍能量，差距最高达 27 倍。研究还指出，开启推理（thinking）可提升能力，但平均使能耗增加约 3.7 倍，收益高度依赖模型家族与输出预算；相比之下，FP8 可将能耗降低约四分之一而得分变化不大；更换硬件主要整体缩放能耗，不改变模型间的相对排名。这是该事件目前唯一一篇报道，尚无后续跟进。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。