“5 joules per token”
From Words to Watts: Benchmarking the Energy Costs of Large Language Model Inference
在 V100/A100 上实测不同规模 LLaMA 的推理性能与能耗
论文在 V100 和 A100 两代 GPU、Alpaca 和 GSM8K 两个数据集上,对不同规模的 LLaMA 做推理性能与能耗的基准测试,并给出最多 32 张 GPU 的多节点、多卡分片推理结果。作者称这是较早从算力和能耗角度、在这一规模上研究 LLM 推理的工作,属于初步分析。
评论者引用其实测的每 token 能耗(约 5 焦耳)来估算个人使用 LLM 一年的耗电量和碳排放。
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先建立 Transformer 推理与 LLaMA 模型家族的背景,再看 NLP 训练能耗估算和缩放定律,理解为什么要把能耗测量从训练转向推理。
- 1
被测的 LLaMA 都是 Transformer 解码器,推理的计算量来自这里的注意力与前馈层。
读模型结构图与自注意力、前馈层的计算方式;不必细读训练和翻译实验。
- 2
目标论文实测的就是不同规模的 LLaMA,需要知道 7B 到 65B 各版本的差别。
读各模型规模的层数、隐维度等参数设置,以及训练数据与架构改动。
- 3
最早估算 NLP 模型训练碳排放与成本的工作,目标论文正是指出推理能耗被忽视。
读能耗与碳排放的估算方法(功率乘时间乘 PUE)及各模型的成本对比。
- 4
说明模型规模、数据与算力的关系,帮助理解为何规模增大会推高推理成本。
读损失随参数量与算力按幂律下降的结论;跳过具体拟合细节。
- 5From Words to Watts: Benchmarking the Energy Costs of Large Language Model Inference
在 V100/A100 上实测不同规模 LLaMA 的推理延迟、吞吐与能耗。
读实验设置(批大小、输出长度、GPU 数量)与能耗随规模变化的结果。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“There is a slightly newer paper (Oct 2023) that directly measured power usage on a Llama 65B (on V100/A100 hardware) that showed a 14X better efficiency.”
“A full year of LLM usage (5 joules per token[0] * 200 tokens per query * 10 queries per day * 365 days per year = 1.014kWh, which by the US's energy mix[1] is about 0.4kg of CO2)”
- Benchmarking the Energy Costs of Large Language Model Inference (2023) ↗mcguire · 2024-06-07 · 2 分
- From Words to Watts: Benchmarking the Energy Costs of LLM Inference (2023) ↗teleforce · 2026-07-08 · 1 分