按年被提到
20202022 · 2 次2026
机器学习与深度学习›训练加速与低精度计算·arXiv:2005.04305 · cs.LG

Measuring the Algorithmic Efficiency of Neural Networks

度量神经网络的算法效率
Danny Hernandez, Tom B. Brown · 2020

ImageNet 达到 AlexNet 水平所需算力 7 年下降 44 倍

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2020-05-24 · 最近 2022-03-04
4不同的人
4活跃月份
4讨论串
110被引(OpenAlex)

论文认为算法进步有一个既易测量又有意思的方面:达到过去能力水平所需算力随时间的下降。作者表明,把分类器训练到 ImageNet 上 AlexNet 水平所需的浮点运算量在 2012 至 2019 年间下降了 44 倍,相当于 7 年里算法效率每 16 个月翻一番,而同期摩尔定律只能带来 11 倍的成本改进。硬件与算法效率增益可以相乘、在有意义的时间尺度上量级相近,所以好的 AI 进展模型应同时纳入两者。

HN 为什么提它

HN 上的人引用它的 44 倍、每 16 个月翻倍这组数字,来说明算法进步与硬件(如 TPU 等专用芯片)一样在持续提升 AI 的效率。

实证研究难度 2 / 5约 25 分钟有时效性
读之前最好知道
1神经网络训练与算力(FLOPs)
2ImageNet 与 AlexNet
3摩尔定律
4AI 规模定律的基本概念

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先看 ImageNet 基准和 AlexNet 之后几代卷积网络,再看专门追求高效的网络,最后读如何度量算法效率提升。

  1. 1
    ImageNet Large Scale Visual Recognition ChallengeImageNet 大规模视觉识别挑战 · 2014

    目标论文以 ImageNet 上达到 AlexNet 水平所需算力为度量,需要先了解该基准。

    读ImageNet 挑战的设置、评测方式,以及历年成绩的变化。

  2. 2
    Going Deeper with Convolutions用卷积走得更深 · 2014

    AlexNet 之后的代表性架构之一,用更少参数得到更高精度。

    读Inception 结构为何比前代更省参数和计算量。

  3. 3
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    残差网络是此后大幅提升效率的重要结构。

    读残差连接的思想,以及它如何让网络更深更易训练。

  4. 4
    SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model sizeSqueezeNet:参数少 50 倍、模型小于 0.5MB 的 AlexNet 级精度 · 2016

    直接以同等精度下参数少 50 倍为目标,是算法效率提升的典型例子。

    读小模型的设计思路和参数量对比。

  5. 5
    MobileNets: Efficient Convolutional Neural Networks for Mobile Vision ApplicationsMobileNets:面向移动视觉应用的高效卷积神经网络 · 2017

    用深度可分离卷积降低计算量,是效率提升的主要来源之一。

    读深度可分离卷积的计算量推导。

  6. 6
    EfficientNet: Rethinking Model Scaling for Convolutional Neural NetworksEfficientNet:重新思考卷积神经网络的模型缩放 · 2019

    给出按统一规则缩放网络的方法,也是效率持续提升的例证。

    读复合缩放:深度、宽度和分辨率如何一起调节。

  7. 7
    Measuring the Algorithmic Efficiency of Neural Networks度量神经网络的算法效率 · 2020 · 就是这篇

    目标论文:度量神经网络算法效率的提升。

    读以达到固定性能所需 FLOPs 为指标的方法,以及 ImageNet 44 倍的结论。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用Isinlor · 2022-02

“Measuring the Algorithmic Efficiency of Neural Networks: Measuring the Algorithmic Efficiency of Neural Networks”

引用它说明 AlexNet 水平的训练算力需求大幅下降
AlphaCode as a dog speaking mediocre English原评论 ↗
引用Strilanc · 2022-03

“the flops-per-watt and flops-per-second of AI-specialized chips like TPUs has been improving substantially recently [1][2].”

引用它佐证 TPU 等 AI 芯片的能效在持续提升
We're building computers wrong [video]原评论 ↗
被提交为 story · 2 次