按年被提到
20192019 · 3 次2026
视觉、语音与图像生成›卷积网络与图像识别·arXiv:1905.11946 · cs.LG

EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

EfficientNet:重新思考卷积神经网络的模型缩放
Mingxing Tan, Quoc V. Le · 2019

均衡缩放深度、宽度与分辨率,得到高效的卷积网络家族

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2019-05-30 · 最近 2022-05-28
4不同的人
5活跃月份
5讨论串
18,414被引(OpenAlex)

系统研究模型缩放,发现均衡调节网络的深度、宽度和输入分辨率能带来更好的表现,据此提出用一个复合系数统一缩放这三个维度的方法。作者再用神经架构搜索设计基线网络并放大,得到 EfficientNet 系列;其中 EfficientNet-B7 在 ImageNet 上达到 84.3% top-1 准确率,比当时最好的卷积网络小 8.4 倍、推理快 6.1 倍,迁移学习上也表现出色。

HN 为什么提它

评论者拿它当作 2019 年 ImageNet 最先进水平的例子,并用它说明先把小模型的架构做好,大模型的质量也会随之提高。

方法难度 3 / 5约 40 分钟有时效性
读之前最好知道
1卷积神经网络(CNN)
2ImageNet 图像分类
3神经架构搜索(NAS)
4MobileNet 与 ResNet

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先了解残差网络和高效的移动端网络,再看搜索得到的架构、激活函数和大模型并行,才能理解 EfficientNet 为什么要系统缩放深度、宽度和分辨率。

  1. 1
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    ResNet 是目标论文做深度缩放的主要基线之一。

    读残差块的设计,以及深度加深时精度的变化。

  2. 2
    MobileNets: Efficient Convolutional Neural Networks for Mobile Vision ApplicationsMobileNets:面向移动视觉应用的高效卷积神经网络 · 2017

    MobileNet 是目标论文缩放实验的另一基线,也提出了宽度与分辨率乘子。

    读深度可分离卷积,以及宽度乘子与分辨率乘子的含义。

  3. 3

    MobileNetV2 的倒残差块被 EfficientNet 的基础网络直接沿用。

    读倒残差与线性瓶颈的结构。

  4. 4
    Learning Transferable Architectures for Scalable Image Recognition学习可迁移的架构以实现可扩展的图像识别(NASNet) · 2017

    它展示了用架构搜索得到高精度网络,EfficientNet 的基础网络也由搜索得到。

    读搜索卷积单元再堆叠的流程,了解搜索空间的概念。

  5. 5
    Searching for Activation Functions搜索激活函数 · 2017

    EfficientNet 的基础网络使用了搜索得到的 Swish 激活函数。

    读Swish 的定义与它相对 ReLU 的特点。

  6. 6
    GPipe: Efficient Training of Giant Neural Networks using Pipeline ParallelismGPipe:用流水线并行高效训练巨型神经网络 · 2018

    它代表另一种靠加大模型换精度的路线,目标论文用它做对比,说明单靠放大模型的局限。

    读按层切分与流水线并行的思路,以及大模型在 ImageNet 上的结果。

  7. 7
    EfficientNet: Rethinking Model Scaling for Convolutional Neural NetworksEfficientNet:重新思考卷积神经网络的模型缩放 · 2019 · 就是这篇

    在这些基线和做法之上,看复合系数如何均衡缩放深度、宽度与分辨率。

    读单维度缩放的观察、复合缩放公式,以及 EfficientNet-B0 到 B7 的结果。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐nl · 2021-07

“EfficentNet is better, but the comparison is more reasonable in general.”

称 EfficientNet 更好,是一种手工设计的网络缩放方法
Alphafold原评论 ↗
推荐sdenton4 · 2022-05

“EfficientNet is an exemplar of this approach; they made much better small models, and wound up with much higher quality big models as a result of having better architecture overall: EfficientNet”

拿它说明先把小模型做好,大模型质量也随之提高
I don't trust papers out of “Top Labs” anymore原评论 ↗
引用p1esk · 2019-08

“By the way, I believe this is the current SOTA for Imagenet: EfficientNet (84/97%).”

称它是当前 ImageNet 的 SOTA(84%/97%)
OpenGPT-2: We Replicated GPT-2 Because You Can Too原评论 ↗
引用p1esk · 2019-09

“e.g. SOTA on Imagenet [1]”

把它当作 ImageNet 上 SOTA 的例子
Emergences: A Talk by Danny Hillis原评论 ↗
被提交为 story · 1 次