“It's an important study from a respectable journal.”
Energy and Policy Considerations for Deep Learning in NLP
估算训练 NLP 模型的资金与碳排放成本
论文量化了多种成功的 NLP 神经网络模型在训练时的大致资金成本和环境成本:准确率的提升依赖极大的算力和相应的能耗,费用来自硬件、电力或云算力,环境代价来自为现代张量处理硬件供电的碳足迹。基于这些发现,作者提出了降低成本、提升 NLP 研究与实践公平性的可操作建议。
评论者把它当作「训练一个大 NLP 模型相当于多少 CO2」的出处(如约 62 万磅的数字),评论区也在争论其计算假设以及这个数字被引用得是否夸张。
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先看 Transformer、ELMo 和 BERT 这几个被测算的模型,再看超参数搜索为何很耗算力,就能读懂这篇如何把训练 NLP 模型的资金和碳排放折算出来。
- 1
- 2
- 3
BERT 的预训练用了大量 TPU 时间,是目标论文估算成本的重要案例。
读预训练所用的数据量、硬件和时长,这是估算电耗的输入。
- 4
说明超参数调优需要大量重复训练,对应目标论文中研发阶段的能耗放大。
读超参数自动搜索的概念,理解为什么一个模型要训练很多次。
- 5Energy and Policy Considerations for Deep Learning in NLP
目标论文:估算训练 NLP 模型的资金与碳排放成本,并给出政策建议。
读能耗与碳排放的计算方法,以及模型开发全流程与单次训练成本的差别。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“The citation for the "surprisingly large carbon footprint" [0] is crazy.”
“according to [1], training a single big NLP model can burn up to 620,000 lbs of CO2.”
“Here are some recent evaluations of the carbon footprint of modern models: Energy and Policy Considerations for Deep Learning in NLP (cited in the above paper)”
“None of them make the assumption that google compute runs from jet fuel.”
“the paper absolutely does not assume the compute is running from jet fuel! It calculates the total energy to train a model and then uses US EPA data to show how much CO2 that would be in practice”
看全部 7 条 →
“according to [this study]”
- Energy and Policy Considerations for Deep Learning in NLP [pdf] ↗rococode · 2019-06-11 · 2 分
- Energy and Policy Considerations for Deep Learning in NLP [pdf] ↗rococode · 2019-06-19 · 1 分
- Energy and Policy Considerations for Deep Learning in NLP ↗M2Ys4U · 2019-07-26 · 1 分
- Energy and Policy Considerations for Deep Learning in NLP ↗montalbano · 2019-10-04 · 2 分