按年被提到
20192019 · 6 次2026
机器学习与深度学习›机器学习实践与反思·arXiv:1906.02243 · cs.CL

Energy and Policy Considerations for Deep Learning in NLP

深度学习用于 NLP 的能耗与政策考量
Emma Strubell, Ananya Ganesh, Andrew McCallum · 2019

估算训练 NLP 模型的资金与碳排放成本

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 10 人首次 2019-06-11 · 最近 2024-02-01
10不同的人
8活跃月份
10讨论串
4,075被引(OpenAlex)

论文量化了多种成功的 NLP 神经网络模型在训练时的大致资金成本和环境成本:准确率的提升依赖极大的算力和相应的能耗,费用来自硬件、电力或云算力,环境代价来自为现代张量处理硬件供电的碳足迹。基于这些发现,作者提出了降低成本、提升 NLP 研究与实践公平性的可操作建议。

HN 为什么提它

评论者把它当作「训练一个大 NLP 模型相当于多少 CO2」的出处(如约 62 万磅的数字),评论区也在争论其计算假设以及这个数字被引用得是否夸张。

实证研究难度 2 / 5约 20 分钟有时效性
读之前最好知道
1NLP 神经网络模型基础
2GPU 训练与云算力成本
3碳排放核算基础

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先看 Transformer、ELMo 和 BERT 这几个被测算的模型,再看超参数搜索为何很耗算力,就能读懂这篇如何把训练 NLP 模型的资金和碳排放折算出来。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    目标论文测算能耗的模型之一就是 Transformer,需要先知道它的规模和训练量。

    读模型规模与训练步数的概念,不必细看架构细节。

  2. 2
    Deep contextualized word representations深度上下文化词表示(ELMo) · 2018

    ELMo 是被测算的一类预训练模型,代表大规模语言模型的训练开销。

    读双向语言模型预训练的整体做法与训练数据规模。

  3. 3
    BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingBERT:用于语言理解的深度双向 Transformer 预训练 · 2018

    BERT 的预训练用了大量 TPU 时间,是目标论文估算成本的重要案例。

    读预训练所用的数据量、硬件和时长,这是估算电耗的输入。

  4. 4
    Practical Bayesian Optimization of Machine Learning Algorithms机器学习算法的实用贝叶斯优化 · 2012

    说明超参数调优需要大量重复训练,对应目标论文中研发阶段的能耗放大。

    读超参数自动搜索的概念,理解为什么一个模型要训练很多次。

  5. 5
    Energy and Policy Considerations for Deep Learning in NLP深度学习用于 NLP 的能耗与政策考量 · 2019 · 就是这篇

    目标论文:估算训练 NLP 模型的资金与碳排放成本,并给出政策建议。

    读能耗与碳排放的计算方法,以及模型开发全流程与单次训练成本的差别。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐culi · 2021-09

“It's an important study from a respectable journal.”

称这是来自可靠期刊的重要研究,让读者看到文章能耗说法的原始来源
Deep Learning's Diminishing Returns原评论 ↗
批评css · 2019-10

“The citation for the "surprisingly large carbon footprint" [0] is crazy.”

引用briga · 2019-09

“according to [1], training a single big NLP model can burn up to 620,000 lbs of CO2.”

引用它说明训练一个大型 NLP 模型最多可排放 62 万磅 CO2
The U.S. economy is growing and using less and less stuff to do so原评论 ↗
引用soraki_soladead · 2021-10

“Here are some recent evaluations of the carbon footprint of modern models: Energy and Policy Considerations for Deep Learning in NLP (cited in the above paper)”

补充该论文所引用的现代模型碳足迹近期评估
Small Language Models Are Also Few-Shot Learners原评论 ↗
引用mempko · 2023-05

“None of them make the assumption that google compute runs from jet fuel.”

反驳有人说算力用喷气燃料,指出这些研究并无此假设
Timnit Gebru on her sacking by Google, AI’s dangers and big tech’s biases原评论 ↗
引用SilverBirch · 2023-05

“the paper absolutely does not assume the compute is running from jet fuel! It calculates the total energy to train a model and then uses US EPA data to show how much CO2 that would be in practice”

澄清论文并未假设算力来自喷气燃料,而是算出训练总能耗再按 EPA 数据折算 CO2
Timnit Gebru on her sacking by Google, AI’s dangers and big tech’s biases原评论 ↗
看全部 7 条 →
引用logicprog · 2024-02

“according to [this study]”

引为训练 Transformer 排放量 626 倍这一数字的出处
I don't want anything your AI generates原评论 ↗
被提交为 story · 4 次