按年被提到
20232024 · 3 次2026
机器学习与深度学习›机器学习实践与反思·arXiv:2311.16863 · cs.LG

Power Hungry Processing: Watts Driving the Cost of AI Deployment?

耗电的计算:瓦特正在推高 AI 部署成本吗?
Alexandra Sasha Luccioni, Yacine Jernite, Emma Strubell · 2023

系统比较各类模型每千次推理的能耗与碳排放

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2023-12-21 · 最近 2024-04-14
4不同的人
3活跃月份
4讨论串
465被引(OpenAlex)

论文首次系统比较各类机器学习系统的持续推理成本,覆盖针对单一任务微调的模型和多用途通用模型,以在代表性基准数据集上完成 1,000 次推理所需的能耗和碳排放衡量。结果显示,即使控制了参数量,多用途生成式架构在多种任务上也比任务专用系统贵几个数量级。作者提醒应更有意识地权衡多用途生成式系统的效用与其带来的能耗和排放,并提供交互式演示以供进一步分析。

HN 为什么提它

评论者引用其具体数字来量化 AI 推理的耗电,例如每张生成图像约 4860 焦耳、GPT-2 每 1000 次文本生成约 0.047 kWh。

实证研究难度 2 / 5约 40 分钟有时效性
读之前最好知道
1机器学习推理与部署基础
2能耗与碳排放估算
3生成式模型(文本、图像)
4基准评测方法

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先建立 Transformer 与大模型的背景,再看指令微调的多任务通用模型和训练碳足迹的研究,用来理解该论文为何比较推理能耗。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    几乎所有被测的生成式模型都基于这一架构。

    读整体结构和自注意力;了解它为什么计算量大。

  2. 2
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    多用途生成式模型靠大规模预训练加提示,是目标论文里的通用模型的代表。

    读few-shot 提示的使用方式和模型规模。

  3. 3
    Scaling Instruction-Finetuned Language Models扩展指令微调语言模型 · 2022

    指令微调让一个模型处理很多任务,对应目标论文比较的多用途模型。

    读任务数和模型规模如何影响效果,以及加入思维链数据的做法。

  4. 4
    The Carbon Footprint of Machine Learning Training Will Plateau, Then Shrink机器学习训练的碳足迹将先持平、后下降 · 2022

    讨论如何降低机器学习训练的能耗,是目标论文对比的背景。

    读四项最佳实践和对未来碳足迹趋势的判断。

  5. 5
    Power Hungry Processing: Watts Driving the Cost of AI Deployment?耗电的计算:瓦特正在推高 AI 部署成本吗? · 2023 · 就是这篇

    目标论文:系统比较各类模型推理的能耗与碳排放。

    读任务特定模型与通用模型每千次推理的能耗对比。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用Baldbvrhunter · 2023-12

“The actual paper [0] says approx 4860 joules per image”

指出实际论文给出每张生成图像约 4860 焦耳
Making an image with generative AI uses as much energy as charging your phone原评论 ↗
引用tomjohnneill · 2024-02

“I found this paper: Power Hungry Processing.”

引用它找到的数据:GPT-2 生成 1000 次文本耗电 0.047 千瓦时
Paragraph Pollution: AI is (probably) greener than you typing on a laptop原评论 ↗
引用colesantiago · 2024-04

“Both of these waste a ton of energy either by training or running the software”

引用它说明训练或运行软件都耗费大量能源,量化了 AI 部署的功耗
When Will the GenAI Bubble Burst?原评论 ↗
被提交为 story · 1 次