按年被提到
20172017 · 4 次2026
机器学习与深度学习›训练加速与低精度计算·arXiv:1703.09039 · cs.CV

Efficient Processing of Deep Neural Networks: A Tutorial and Survey

深度神经网络的高效处理:教程与综述
Vivienne Sze, Yu-Hsin Chen, Tien-Ju Yang, Joel Emer · 2017

DNN 高效计算的硬件与算法教程及综述

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2017-03-28 · 最近 2017-10-31发表于 Proceedings of the IEEE
4不同的人
4活跃月份
4讨论串
4,219被引(OpenAlex)

针对 DNN 计算复杂度高的问题,系统梳理实现高效处理的最新进展:概述 DNN,讨论支持 DNN 的各类硬件平台和架构,并强调仅靠硬件设计、或硬件与 DNN 算法联合设计来降低计算成本的主要趋势。还总结了便于快速上手的开发资源,以及评估众多 DNN 硬件设计时应使用的基准指标和设计考量。

HN 为什么提它

输入里只有一条摘录:评论者把它作为同一作者、内容大致相同的另一篇文章的补充阅读来提,其余讨论点不明。

综述难度 3 / 5约 120 分钟经得起时间
读之前最好知道
1深度神经网络基础(如 CNN)
2计算机体系结构(处理器与存储层次)
3能效与吞吐量的评估指标

学习路径

读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我建立高效 DNN 的背景:先看典型的 CNN 架构,再看紧凑网络、知识蒸馏和低比特量化这几类降低计算成本的方法。

  1. 1
    Very Deep Convolutional Networks for Large-Scale Image Recognition面向大规模图像识别的极深卷积网络 · 2014

    综述里分析计算量和访存时反复用到 VGG 这类网络。

    读抓 3x3 卷积堆叠的结构,以及参数量和计算量的分布。

  2. 2
    Rethinking the Inception Architecture for Computer Vision重新思考计算机视觉中的 Inception 架构 · 2015

    用分解卷积降低计算量,是高效网络设计的早期做法。

    读抓卷积分解的思路,实验部分略读。

  3. 3
    SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model sizeSqueezeNet:参数少 50 倍、模型小于 0.5MB 的 AlexNet 级精度 · 2016

    通过 fire 模块压缩参数的紧凑网络。

    读抓 squeeze 与 expand 的结构,以及压缩后模型大小的对比。

  4. 4
    MobileNets: Efficient Convolutional Neural Networks for Mobile Vision ApplicationsMobileNets:面向移动视觉应用的高效卷积神经网络 · 2017

    用深度可分离卷积减少计算量,是综述中高效网络设计的代表。

    读抓深度可分离卷积的计算量分解,以及宽度和分辨率乘数。

  5. 5
    Distilling the Knowledge in a Neural Network蒸馏神经网络中的知识 · 2015

    知识蒸馏是综述里不改变硬件的模型压缩手段之一。

    读抓软标签与温度的设置。

  6. 6
    Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1二值化神经网络:权重和激活约束为 +1 或 -1 的深度网络训练 · 2016

    把权重和激活二值化,是低精度计算的极端形式。

    读抓二值化的前向与梯度近似(直通估计)。

  7. 7
    DoReFa-Net: Training Low Bitwidth Convolutional Neural Networks with Low Bitwidth GradientsDoReFa-Net:用低比特梯度训练低比特宽度卷积神经网络 · 2016

    进一步在低比特的梯度上训练,说明训练阶段也能降低精度。

    读抓权重、激活、梯度各自的量化方式。

  8. 8
    Efficient Processing of Deep Neural Networks: A Tutorial and Survey深度神经网络的高效处理:教程与综述 · 2017 · 就是这篇

    系统梳理 DNN 高效处理的硬件与算法技术。

    读抓硬件设计(数据流与访存)和算法(压缩、低精度、紧凑网络)两条线,以及评估指标。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用nshm · 2017-09

“There is also a paper from same authors with about the same content:”

补充说同一批作者还有一篇内容相近的论文
Hardware Architectures for Deep Neural Networks [pdf]原评论 ↗
被提交为 story · 3 次