“Measuring the Algorithmic Efficiency of Neural Networks: Measuring the Algorithmic Efficiency of Neural Networks”
Measuring the Algorithmic Efficiency of Neural Networks
ImageNet 达到 AlexNet 水平所需算力 7 年下降 44 倍
论文认为算法进步有一个既易测量又有意思的方面:达到过去能力水平所需算力随时间的下降。作者表明,把分类器训练到 ImageNet 上 AlexNet 水平所需的浮点运算量在 2012 至 2019 年间下降了 44 倍,相当于 7 年里算法效率每 16 个月翻一番,而同期摩尔定律只能带来 11 倍的成本改进。硬件与算法效率增益可以相乘、在有意义的时间尺度上量级相近,所以好的 AI 进展模型应同时纳入两者。
HN 上的人引用它的 44 倍、每 16 个月翻倍这组数字,来说明算法进步与硬件(如 TPU 等专用芯片)一样在持续提升 AI 的效率。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先看 ImageNet 基准和 AlexNet 之后几代卷积网络,再看专门追求高效的网络,最后读如何度量算法效率提升。
- 1
目标论文以 ImageNet 上达到 AlexNet 水平所需算力为度量,需要先了解该基准。
读ImageNet 挑战的设置、评测方式,以及历年成绩的变化。
- 2
- 3
- 4
直接以同等精度下参数少 50 倍为目标,是算法效率提升的典型例子。
读小模型的设计思路和参数量对比。
- 5
用深度可分离卷积降低计算量,是效率提升的主要来源之一。
读深度可分离卷积的计算量推导。
- 6
给出按统一规则缩放网络的方法,也是效率持续提升的例证。
读复合缩放:深度、宽度和分辨率如何一起调节。
- 7Measuring the Algorithmic Efficiency of Neural Networks
目标论文:度量神经网络算法效率的提升。
读以达到固定性能所需 FLOPs 为指标的方法,以及 ImageNet 44 倍的结论。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“the flops-per-watt and flops-per-second of AI-specialized chips like TPUs has been improving substantially recently [1][2].”
- Measuring the Algorithmic Efficiency of Neural Networks ↗jonbaer · 2020-05-24 · 1 分
- Measuring the Algorithmic Efficiency of Neural Networks ↗grlass · 2021-06-10 · 37 分