按年被提到
20232024 · 2 次2026
大模型与语言模型›混合专家与高效训练·arXiv:2310.03003 · cs.CL

From Words to Watts: Benchmarking the Energy Costs of Large Language Model Inference

从词到瓦特:大语言模型推理能耗的基准测试
Siddharth Samsi, Dan Zhao, Joseph McDonald, Baolin Li, Adam Michaleas, Michael Jones, William Bergeron, Jeremy Kepner, Devesh Tiwari, Vijay Gadepally · 2023

在 V100/A100 上实测不同规模 LLaMA 的推理性能与能耗

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2024-06-07 · 最近 2026-07-08
4不同的人
4活跃月份
5讨论串
248被引(OpenAlex)

论文在 V100 和 A100 两代 GPU、Alpaca 和 GSM8K 两个数据集上,对不同规模的 LLaMA 做推理性能与能耗的基准测试,并给出最多 32 张 GPU 的多节点、多卡分片推理结果。作者称这是较早从算力和能耗角度、在这一规模上研究 LLM 推理的工作,属于初步分析。

HN 为什么提它

评论者引用其实测的每 token 能耗(约 5 焦耳)来估算个人使用 LLM 一年的耗电量和碳排放。

实证研究难度 2 / 5约 30 分钟有时效性
读之前最好知道
1大语言模型(LLM)推理基础
2GPU 与功耗测量
3模型并行与分片(sharding)

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先建立 Transformer 推理与 LLaMA 模型家族的背景,再看 NLP 训练能耗估算和缩放定律,理解为什么要把能耗测量从训练转向推理。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    被测的 LLaMA 都是 Transformer 解码器,推理的计算量来自这里的注意力与前馈层。

    读模型结构图与自注意力、前馈层的计算方式;不必细读训练和翻译实验。

  2. 2
    LLaMA: Open and Efficient Foundation Language ModelsLLaMA:开放且高效的基础语言模型 · 2023

    目标论文实测的就是不同规模的 LLaMA,需要知道 7B 到 65B 各版本的差别。

    读各模型规模的层数、隐维度等参数设置,以及训练数据与架构改动。

  3. 3
    Energy and Policy Considerations for Deep Learning in NLP深度学习用于 NLP 的能耗与政策考量 · 2019

    最早估算 NLP 模型训练碳排放与成本的工作,目标论文正是指出推理能耗被忽视。

    读能耗与碳排放的估算方法(功率乘时间乘 PUE)及各模型的成本对比。

  4. 4
    Scaling Laws for Neural Language Models神经语言模型的缩放定律 · 2020

    说明模型规模、数据与算力的关系,帮助理解为何规模增大会推高推理成本。

    读损失随参数量与算力按幂律下降的结论;跳过具体拟合细节。

  5. 5
    From Words to Watts: Benchmarking the Energy Costs of Large Language Model Inference从词到瓦特:大语言模型推理能耗的基准测试 · 2023 · 就是这篇

    在 V100/A100 上实测不同规模 LLaMA 的推理延迟、吞吐与能耗。

    读实验设置(批大小、输出长度、GPU 数量)与能耗随规模变化的结果。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用Ukv · 2024-07

“5 joules per token”

引用每个 token 约 5 焦耳的推理能耗,用来估算每位用户的碳排放
Today's Cheap AI Services Won't Last原评论 ↗
引用lhl · 2025-01

“There is a slightly newer paper (Oct 2023) that directly measured power usage on a Llama 65B (on V100/A100 hardware) that showed a 14X better efficiency.”

补充一篇稍新的论文,直接测量 Llama 65B 功耗,显示效率高出约 14 倍
Using ChatGPT is not bad for the environment原评论 ↗
引用Ukv · 2025-01

“A full year of LLM usage (5 joules per token[0] * 200 tokens per query * 10 queries per day * 365 days per year = 1.014kWh, which by the US's energy mix[1] is about 0.4kg of CO2)”

用每 token 约 5 焦耳的数字估算一年使用 LLM 的耗电与碳排放
AI, but at What Cost? Breakdown of AI's Carbon Footprint原评论 ↗
被提交为 story · 2 次