“The actual paper [0] says approx 4860 joules per image”
按年被提到
20232024 · 3 次2026
Power Hungry Processing: Watts Driving the Cost of AI Deployment?
耗电的计算:瓦特正在推高 AI 部署成本吗?
Alexandra Sasha Luccioni, Yacine Jernite, Emma Strubell · 2023
系统比较各类模型每千次推理的能耗与碳排放
被提及 · 4 人首次 2023-12-21 · 最近 2024-04-14
4不同的人
3活跃月份
4讨论串
465被引(OpenAlex)
论文首次系统比较各类机器学习系统的持续推理成本,覆盖针对单一任务微调的模型和多用途通用模型,以在代表性基准数据集上完成 1,000 次推理所需的能耗和碳排放衡量。结果显示,即使控制了参数量,多用途生成式架构在多种任务上也比任务专用系统贵几个数量级。作者提醒应更有意识地权衡多用途生成式系统的效用与其带来的能耗和排放,并提供交互式演示以供进一步分析。
HN 为什么提它
评论者引用其具体数字来量化 AI 推理的耗电,例如每张生成图像约 4860 焦耳、GPT-2 每 1000 次文本生成约 0.047 kWh。
实证研究难度 2 / 5约 40 分钟有时效性
读之前最好知道
1机器学习推理与部署基础
2能耗与碳排放估算
3生成式模型(文本、图像)
4基准评测方法
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先建立 Transformer 与大模型的背景,再看指令微调的多任务通用模型和训练碳足迹的研究,用来理解该论文为何比较推理能耗。
- 1
- 2
- 3
指令微调让一个模型处理很多任务,对应目标论文比较的多用途模型。
读任务数和模型规模如何影响效果,以及加入思维链数据的做法。
- 4
讨论如何降低机器学习训练的能耗,是目标论文对比的背景。
读四项最佳实践和对未来碳足迹趋势的判断。
- 5Power Hungry Processing: Watts Driving the Cost of AI Deployment?
目标论文:系统比较各类模型推理的能耗与碳排放。
读任务特定模型与通用模型每千次推理的能耗对比。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用Baldbvrhunter · 2023-12
指出实际论文给出每张生成图像约 4860 焦耳
引用tomjohnneill · 2024-02
“I found this paper: Power Hungry Processing.”
引用它找到的数据:GPT-2 生成 1000 次文本耗电 0.047 千瓦时
引用colesantiago · 2024-04
“Both of these waste a ton of energy either by training or running the software”
引用它说明训练或运行软件都耗费大量能源,量化了 AI 部署的功耗
被提交为 story · 1 次
- Power Hungry Processing: Watts Driving the Cost of AI Deployment? ↗todsacerdoti · 2024-04-14 · 2 分