按年被提到
20222022 · 1 次2026
Compute Trends Across Three Eras of Machine Learning
机器学习三个时代的算力趋势
Jaime Sevilla, Lennart Heim, Anson Ho, Tamay Besiroglu, Marius Hobbhahn, Pablo Villalobos · 2022
把 ML 训练算力的历史分成三个时代并量化增速
被提及 · 3 人首次 2022-02-15 · 最近 2025-12-18
3不同的人
3活跃月份
3讨论串
397被引(OpenAlex)
论文研究最容易量化的进展因素——训练算力。结果显示 2010 年前训练算力大致随摩尔定律每约 20 个月翻倍,深度学习兴起后加快到约每 6 个月翻倍,2015 年末起又出现训练算力需求高出 10 到 100 倍的大规模模型。据此作者把历史划分为前深度学习、深度学习和大规模三个时代。
HN 为什么提它
输入没有附带评论摘录,无法判断具体讨论点;只知道它被 3 位不同的人在 3 个不同月份提及。
实证研究难度 2 / 5约 40 分钟有时效性
读之前最好知道
1摩尔定律(Moore's law)
2深度学习基础
3指数增长与对数坐标
4大规模模型训练
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮你理解机器学习算力趋势的背景:经验规模律、算力瓶颈,以及近年大模型的代表性工作,再读三个时代的算力划分。
- 1
较早地用经验方法给出多个领域误差随数据量的幂律,是研究规模趋势的出发点。
读各领域学习曲线的幂律区间;理解规模与精度的关系。
- 2
- 3
- 4
GPT-3 是大规模时代的代表模型,训练算力远超此前。
读模型规模、训练 token 数与少样本结果;对照目标论文中的算力数据点。
- 5
修正了模型大小与数据量如何随算力分配的结论,影响对大规模趋势的理解。
读模型参数与训练 token 应等比例增长的核心结论。
- 6
PaLM 是 2022 年的代表性大规模模型,属于目标论文所说的大规模趋势。
读模型规模、训练算力与基准提升;与同期模型对照。
- 7Compute Trends Across Three Eras of Machine Learning
目标论文:把训练算力历史分为三个时代并量化增长速度。
读三个时代的划分依据与翻倍时间,以及大规模模型趋势的结论。
HN 书评
没有评论直接链到它;下面是它被提交的讨论串里回复最多的评论(不计入统计)讨论串里没有 ≥100 字的评论,只有提交记录。
被提交为 story · 3 次
- AI compute is doubling every 6 months since 2010 ↗ohlennart · 2022-02-15 · 2 分
- Compute Trends Across Three Eras of Machine Learning ↗jasondavies · 2023-09-09 · 1 分
- Compute Trends Across Three Eras of Machine Learning (2022) ↗measurablefunc · 2025-12-18 · 2 分