“[2] Binarized Neural Networks”
按年被提到
20162016 · 1 次2026
Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1
二值化神经网络:权重和激活约束为 +1 或 -1 的深度网络训练
Matthieu Courbariaux, Itay Hubara, Daniel Soudry, Ran El-Yaniv, Yoshua Bengio · 2016
权重与激活都二值化的神经网络训练方法
被提及 · 4 人首次 2016-09-05 · 最近 2024-02-28
4不同的人
4活跃月份
4讨论串
2,012被引(OpenAlex)
提出训练二值化神经网络(BNN)的方法:训练时用二值权重和激活计算参数梯度,运行时权重和激活均为二值,可大幅减少内存和访存、用位运算替代大部分算术运算。在 MNIST、CIFAR-10 和 SVHN 上取得接近当时最优的结果,并写了二值矩阵乘法 GPU 核,使 MNIST 的 BNN 比未优化的核快 7 倍且精度不降。
HN 为什么提它
作为二值权重/低精度神经网络的先例被引用,也有评论者用它佐证二值网络是可行的。
方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1深度神经网络与反向传播
2量化与低精度计算
3位运算与 GPU 编程基础
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先看低精度训练的基础,再读 BinaryConnect 与少乘法网络等把权重二值化的工作,最后读权重与激活都二值化的 BNN。
- 1
- 2
同一作者组对低精度乘法训练的研究,是本文所处线索的起点之一。
读不同数值格式下训练的影响,以及对乘法位宽的需求。
- 3
BNN 在此基础上进一步把激活也二值化,训练方法一脉相承。
读二值权重的训练方式:实数权重累积梯度、前向使用二值权重。
- 4
- 5
- 6Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1
目标论文:权重与激活都二值化的神经网络训练方法。
读梯度估计(直通估计)、位运算取代算术运算,以及在 Torch7 与 Theano 上的实验。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用cs702 · 2016-09
作为脚注列出这篇低精度训练论文
引用emcq · 2017-02
“There was no evidence for his claim then, and now this is clearly false [2, 3].”
引用它反驳 LeCun 的说法,二值化网络在 ImageNet 级任务上可行
引用quotemstr · 2019-11
“Artificial neural networks all the way down to binary weights [1] although this approach doesn't seem like the most efficient one.”
指出神经网络可以一路降到二值权重,但觉得这未必最高效
引用oxxoxoxooo · 2024-02
“Prior art:”
把它列为先前工作,权重和激活限制为 +1 或 -1