arXiv Artificial Intelligence· Petar Basta·2026-10-15 12:00· 18 小时前AI 评分27

面向绿色 AI：量化 LLM 推理的能效评估

Towards Green AI: Evaluating Energy Efficiency for Quantized LLM Inference

AI 导读

一项统一评估在 NVIDIA H100、A6000、A100 和 L4 GPU 上测试了 10 种训练后量化（PTQ）策略对 Llama 2 7B、Phi 3.5 Mini Instruct、OLMo 1B、Qwen 2.5 7B 和 Qwen 2.5 14B 推理能效的影响。