“In section 4.8, they have a snarky comparison to Bitcoin:”
Carbon Emissions and Large Neural Network Training
估算 T5、GPT-3 等大模型训练的能耗与碳足迹,并提出降碳途径。
论文估算 T5、Meena、GShard、Switch Transformer 和 GPT-3 等大模型的训练能耗和碳足迹,并修正了对 Evolved Transformer 神经架构搜索的早期估算。结论包括:稀疏激活的大模型能耗可低于同规模稠密模型的十分之一;数据中心所在地的碳强度差异可达约 5–10 倍;云数据中心和专用加速器更节能;综合选择模型、数据中心和处理器可把碳足迹降低约 100–1000 倍。作者主张论文应披露能耗和 CO2e,并将其作为评价指标。
评论者引用其中第 4.8 节与比特币能耗的对比,以及作者承认碳足迹因信息不公开而难以准确估算,用来讨论 AI 训练的能耗问题。
学习路径
读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮我建立 Transformer、大规模模型(T5、GPT-3、GShard)与硬件(TPU)的背景,以及早期能耗与算法效率的估算工作,用来理解大模型训练碳排放的估算方法。
- 1
- 2
TPU 是目标论文所估算模型使用的硬件之一,理解其性能与能效有助于估算能耗。
读TPU 的性能与功耗的对比数据。
- 3
最早系统估算 NLP 模型训练的资金与碳排放,目标论文在其基础上修正与扩展。
读估算方法(功耗乘训练时间)以及结论。
- 4
T5 是目标论文估算的模型之一。
读模型规模和训练设置,只需大致了解。
- 5
- 6
GShard 是目标论文估算的稀疏 MoE 模型之一,说明稀疏激活如何降低能耗。
读条件计算与专家混合如何用更少的计算训练更大的模型。
- 7
度量算法效率的提升,说明同样的精度所需算力在下降,与降低排放的思路相关。
读ImageNet 达到同等精度所需算力的下降趋势。
- 8Carbon Emissions and Large Neural Network Training
目标论文:估算大模型训练的能耗与碳足迹,并提出降碳途径。
读估算的方法与输入数据,以及模型架构、数据中心、硬件和地点这几类降碳因素。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“The authors note that in many cases accurately estimating the carbon footprint is difficult because the information required is not publicly or readily available.”
“They make this claim first, and cite one source.”
- Carbon Emissions and Large Neural Network Training ↗baylearn · 2021-04-22 · 1 分
- Carbon Emissions and Large Neural Network Training ↗agnosticmantis · 2021-05-04 · 2 分
- Carbon Emissions and Large Neural Network Training ↗melissalobos · 2022-01-29 · 2 分
- Carbon Emissions and Large Neural Network Training ↗sebg · 2022-02-03 · 1 分
- Carbon Emissions and Large Neural Network Training ↗bookofjoe · 2023-03-15 · 1 分