按年被提到
20212021 · 4 次2026
机器学习与深度学习›机器学习实践与反思·arXiv:2104.10350 · cs.LG

Carbon Emissions and Large Neural Network Training

碳排放与大型神经网络训练
David Patterson, Joseph Gonzalez, Quoc Le, Chen Liang, Lluis-Miquel Munguia, Daniel Rothchild, David So, Maud Texier, Jeff Dean · 2021

估算 T5、GPT-3 等大模型训练的能耗与碳足迹,并提出降碳途径。

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 7 人首次 2021-04-22 · 最近 2023-03-15
7不同的人
6活跃月份
8讨论串
1,113被引(OpenAlex)

论文估算 T5、Meena、GShard、Switch Transformer 和 GPT-3 等大模型的训练能耗和碳足迹,并修正了对 Evolved Transformer 神经架构搜索的早期估算。结论包括:稀疏激活的大模型能耗可低于同规模稠密模型的十分之一;数据中心所在地的碳强度差异可达约 5–10 倍;云数据中心和专用加速器更节能;综合选择模型、数据中心和处理器可把碳足迹降低约 100–1000 倍。作者主张论文应披露能耗和 CO2e,并将其作为评价指标。

HN 为什么提它

评论者引用其中第 4.8 节与比特币能耗的对比,以及作者承认碳足迹因信息不公开而难以准确估算,用来讨论 AI 训练的能耗问题。

实证研究难度 2 / 5约 40 分钟有时效性
读之前最好知道
1大型神经网络训练基础
2稀疏激活模型(sparse activation)
3数据中心与加速器能效
4碳强度与 CO2e 概念

学习路径

读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我建立 Transformer、大规模模型(T5、GPT-3、GShard)与硬件(TPU)的背景,以及早期能耗与算法效率的估算工作,用来理解大模型训练碳排放的估算方法。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    目标论文估算的大模型(T5、GPT-3 等)都是 Transformer 家族。

    读模型的基本结构和算力需求来自哪里。

  2. 2
    In-Datacenter Performance Analysis of a Tensor Processing Unit张量处理单元(TPU)的数据中心性能分析 · 2017

    TPU 是目标论文所估算模型使用的硬件之一,理解其性能与能效有助于估算能耗。

    读TPU 的性能与功耗的对比数据。

  3. 3
    Energy and Policy Considerations for Deep Learning in NLP深度学习用于 NLP 的能耗与政策考量 · 2019

    最早系统估算 NLP 模型训练的资金与碳排放,目标论文在其基础上修正与扩展。

    读估算方法(功耗乘训练时间)以及结论。

  4. 4
    Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer探索迁移学习的极限:统一的文本到文本 Transformer · 2019

    T5 是目标论文估算的模型之一。

    读模型规模和训练设置,只需大致了解。

  5. 5
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    GPT-3 是目标论文估算的模型之一。

    读参数量、训练 token 数与总算力。

  6. 6
    GShard: Scaling Giant Models with Conditional Computation and Automatic ShardingGShard:用条件计算与自动分片扩展巨型模型 · 2020

    GShard 是目标论文估算的稀疏 MoE 模型之一,说明稀疏激活如何降低能耗。

    读条件计算与专家混合如何用更少的计算训练更大的模型。

  7. 7
    Measuring the Algorithmic Efficiency of Neural Networks度量神经网络的算法效率 · 2020

    度量算法效率的提升,说明同样的精度所需算力在下降,与降低排放的思路相关。

    读ImageNet 达到同等精度所需算力的下降趋势。

  8. 8
    Carbon Emissions and Large Neural Network Training碳排放与大型神经网络训练 · 2021 · 就是这篇

    目标论文:估算大模型训练的能耗与碳足迹,并提出降碳途径。

    读估算的方法与输入数据,以及模型架构、数据中心、硬件和地点这几类降碳因素。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用skybrian · 2021-04

“In section 4.8, they have a snarky comparison to Bitcoin:”

指出第 4.8 节拿 Bitcoin 作尖刻对比,为 Google 能耗辩护
Google-led paper pushes back against claims of AI inefficiency原评论 ↗
引用soraki_soladead · 2021-10

“The authors note that in many cases accurately estimating the carbon footprint is difficult because the information required is not publicly or readily available.”

引用作者说法:所需信息难获得,碳足迹很难准确估算
Small Language Models Are Also Few-Shot Learners原评论 ↗
引用melissalobos · 2022-01

“They make this claim first, and cite one source.”

质疑论文先下结论且只引用一个来源
Deep physical neural networks trained with backpropagation原评论 ↗
被提交为 story · 5 次