“There are newer interesting approaches such as reducing multiplication operations”
按年被提到
20152015 · 2 次2026
Neural Networks with Few Multiplications
少乘法的神经网络
Zhouhan Lin, Matthieu Courbariaux, Roland Memisevic, Yoshua Bengio · 2015
随机二值化权重并量化表示,把训练中的乘法变成符号翻转与移位
被提及 · 4 人首次 2015-10-16 · 最近 2016-09-05
4不同的人
4活跃月份
4讨论串
266被引(OpenAlex)
神经网络训练的大部分计算花在浮点乘法上。论文的方法分两步:先随机二值化权重,使计算隐藏状态的乘法变成符号翻转;再在反向传播中除二值化权重外,还量化各层的表示,把剩下的乘法变成二进制移位。在 MNIST、CIFAR10、SVHN 三个数据集上,这种做法不但没有损害分类性能,甚至能比标准 SGD 训练更好,为快速且对硬件友好的训练铺路。
HN 为什么提它
评论者把它当作“减少乘法运算”的较新思路来引用,并用来说明深度网络可以用位移得到的近似梯度来训练。
方法难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1神经网络反向传播与随机梯度下降(SGD)
2量化(quantization)与定点数
3二值权重与随机舍入
4浮点乘法的硬件成本
学习路径
读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先看低精度训练的基础,再读 BinaryConnect 的二值权重做法和同类的二值网络,最后读本文进一步用量化表示去掉剩下乘法的做法。
- 1
说明低精度训练的基本问题,随机舍入是本文随机二值化思路的相关背景。
读定点数训练与随机舍入为何能保持精度;跳过硬件实现细节。
- 2
同样用二值权重去掉乘法,是本文第一部分的直接相关工作。
读确定性与随机二值化,以及用实数权重积累梯度的训练办法。
- 3
- 4Neural Networks with Few Multiplications
目标论文:随机二值化权重并量化表示,去掉训练里的大部分乘法。
读随机二值化权重以及反向传播中把表示量化为 2 的幂的做法。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用secondtimeuse · 2016-01
提到减少乘法运算的新方法,是有意思的方向
引用cs702 · 2016-09
“For example, we now know that deep neural nets can be trained with approximate gradients obtained by shifting bits to get the sign and order of magnitude of the gradient roughly right.[1]”
指出深度网络可用移位得到的近似梯度来训练
被提交为 story · 2 次
- Neural Networks with Few Multiplications (Bengio and Co.) ↗vonnik · 2015-10-16 · 3 分
- Neural Networks with Few Multiplications ↗skybrian · 2015-11-09 · 66 分