引用vanderZwan · 2017-12
“I looked up a recent paper and look what it says:”
引用论文说明 dense-sparse-dense 重训练能提高准确率
小型 CNN 架构,ImageNet 上达到 AlexNet 精度,参数少 50 倍
同等精度下,更小的 DNN 在分布式训练通信量、向自动驾驶汽车下发模型的带宽、以及部署到 FPGA 等内存受限硬件上都更有优势,论文据此提出小型 DNN 架构 SqueezeNet。它在 ImageNet 上达到 AlexNet 级精度,参数少 50 倍,再配合模型压缩技术可压到 0.5MB 以下,比 AlexNet 小 510 倍。
有人在谈推理速度与模型体积时把它当作正在攻关的研究方向,也有人由此看到“稠密-稀疏-稠密”再训练能提升精度。
“I looked up a recent paper and look what it says:”
“some researchers are definitely tackling it (e.g SqueezeNet)”