引用nshm · 2017-09
“There is also a paper from same authors with about the same content:”
补充说同一批作者还有一篇内容相近的论文
DNN 高效计算的硬件与算法教程及综述
针对 DNN 计算复杂度高的问题,系统梳理实现高效处理的最新进展:概述 DNN,讨论支持 DNN 的各类硬件平台和架构,并强调仅靠硬件设计、或硬件与 DNN 算法联合设计来降低计算成本的主要趋势。还总结了便于快速上手的开发资源,以及评估众多 DNN 硬件设计时应使用的基准指标和设计考量。
输入里只有一条摘录:评论者把它作为同一作者、内容大致相同的另一篇文章的补充阅读来提,其余讨论点不明。
这条路径帮我建立高效 DNN 的背景:先看典型的 CNN 架构,再看紧凑网络、知识蒸馏和低比特量化这几类降低计算成本的方法。
综述里分析计算量和访存时反复用到 VGG 这类网络。
读抓 3x3 卷积堆叠的结构,以及参数量和计算量的分布。
通过 fire 模块压缩参数的紧凑网络。
读抓 squeeze 与 expand 的结构,以及压缩后模型大小的对比。
用深度可分离卷积减少计算量,是综述中高效网络设计的代表。
读抓深度可分离卷积的计算量分解,以及宽度和分辨率乘数。
把权重和激活二值化,是低精度计算的极端形式。
读抓二值化的前向与梯度近似(直通估计)。
进一步在低比特的梯度上训练,说明训练阶段也能降低精度。
读抓权重、激活、梯度各自的量化方式。
系统梳理 DNN 高效处理的硬件与算法技术。
读抓硬件设计(数据流与访存)和算法(压缩、低精度、紧凑网络)两条线,以及评估指标。
“There is also a paper from same authors with about the same content:”