“Those are all good papers.”
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices
用分组逐点卷积与通道混洗做移动端高效 CNN
论文提出专为算力很低的移动设备(约 10–150 MFLOPs)设计的 ShuffleNet,使用逐点分组卷积和通道混洗两种新操作,在保持精度的同时大幅降低计算量。在 ImageNet 分类和 MS COCO 检测上表现优于其他结构,例如 40 MFLOPs 预算下 top-1 错误率比 MobileNet 绝对低 7.8%;在 ARM 移动设备上相对 AlexNet 实际加速约 13 倍且精度相当。
HN 评论者把它与 MobileNet 并列,作为移动端高效网络、乘加运算量大幅降低的例子。
学习路径
读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先建立残差结构的基础,再看几种轻量或自动搜索的高效网络,最后读 ShuffleNet 对分组卷积与通道混洗的设计。
- 1
ShuffleNet 的基本单元是在残差 bottleneck 上改造而来,需要先理解残差块结构。
读残差块与 bottleneck 结构(1x1、3x3、1x1 的组合),以及捷径连接如何让深网易训练。
- 2
较早的小模型设计,用 1x1 卷积压缩通道,与 ShuffleNet 的逐点卷积开销问题相关。
读Fire 模块的 squeeze 与 expand 设计,以及参数量与精度的取舍。
- 3
ShuffleNet 直接对比的轻量网络,其逐点卷积占去大部分计算量,是目标论文要解决的瓶颈。
读深度可分离卷积的计算量分析,以及宽度与分辨率两个缩放系数。
- 4
自动搜索出的高效网络,也是 ShuffleNet 在同等计算预算下的比较对象。
读搜索得到的卷积单元(cell)如何堆叠为网络;搜索过程本身可略读。
- 5ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices
目标论文:用分组逐点卷积和通道混洗降低计算量。
读分组逐点卷积带来的跨组信息不流通问题,通道混洗的做法,以及 ShuffleNet 单元和各计算预算下的结果。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“MobileNets and ShuffleNet are some examples. They see 10x reductions in MACs”
- ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile [pdf] ↗stablemap · 2018-01-12 · 3 分