按年被提到
20222022 · 1 次2026
机器学习与深度学习›机器学习实践与反思·arXiv:2202.05924 · cs.LG

Compute Trends Across Three Eras of Machine Learning

机器学习三个时代的算力趋势
Jaime Sevilla, Lennart Heim, Anson Ho, Tamay Besiroglu, Marius Hobbhahn, Pablo Villalobos · 2022

把 ML 训练算力的历史分成三个时代并量化增速

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2022-02-15 · 最近 2025-12-18
3不同的人
3活跃月份
3讨论串
397被引(OpenAlex)

论文研究最容易量化的进展因素——训练算力。结果显示 2010 年前训练算力大致随摩尔定律每约 20 个月翻倍,深度学习兴起后加快到约每 6 个月翻倍,2015 年末起又出现训练算力需求高出 10 到 100 倍的大规模模型。据此作者把历史划分为前深度学习、深度学习和大规模三个时代。

HN 为什么提它

输入没有附带评论摘录,无法判断具体讨论点;只知道它被 3 位不同的人在 3 个不同月份提及。

实证研究难度 2 / 5约 40 分钟有时效性
读之前最好知道
1摩尔定律(Moore's law)
2深度学习基础
3指数增长与对数坐标
4大规模模型训练

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你理解机器学习算力趋势的背景:经验规模律、算力瓶颈,以及近年大模型的代表性工作,再读三个时代的算力划分。

  1. 1
    Deep Learning Scaling is Predictable, Empirically深度学习的扩展规律可经验预测 · 2017

    较早地用经验方法给出多个领域误差随数据量的幂律,是研究规模趋势的出发点。

    读各领域学习曲线的幂律区间;理解规模与精度的关系。

  2. 2

    讨论深度学习进步对算力的依赖,与目标论文关注的算力增长直接相关。

    读算力需求随性能提升的增长关系与可持续性论点。

  3. 3
    Scaling Laws for Neural Language Models神经语言模型的缩放定律 · 2020

    给出语言模型损失随算力、参数、数据的幂律,是理解大规模时代的关键。

    读三个规模变量与损失的关系,以及算力最优分配的思路。

  4. 4
    Language Models are Few-Shot Learners语言模型是少样本学习者 · 2020

    GPT-3 是大规模时代的代表模型,训练算力远超此前。

    读模型规模、训练 token 数与少样本结果;对照目标论文中的算力数据点。

  5. 5
    Training Compute-Optimal Large Language Models训练计算最优的大语言模型 · 2022

    修正了模型大小与数据量如何随算力分配的结论,影响对大规模趋势的理解。

    读模型参数与训练 token 应等比例增长的核心结论。

  6. 6
    PaLM: Scaling Language Modeling with PathwaysPaLM:用 Pathways 扩展语言模型 · 2022

    PaLM 是 2022 年的代表性大规模模型,属于目标论文所说的大规模趋势。

    读模型规模、训练算力与基准提升;与同期模型对照。

  7. 7
    Compute Trends Across Three Eras of Machine Learning机器学习三个时代的算力趋势 · 2022 · 就是这篇

    目标论文:把训练算力历史分为三个时代并量化增长速度。

    读三个时代的划分依据与翻倍时间,以及大规模模型趋势的结论。

HN 书评

没有评论直接链到它;下面是它被提交的讨论串里回复最多的评论(不计入统计)

讨论串里没有 ≥100 字的评论,只有提交记录。

被提交为 story · 3 次