“this paper BinaryConnect shows that you can replace floating point operations by simple bitwise operations”
BinaryConnect: Training Deep Neural Networks with binary weights during propagations
前向与反向传播都用二值权重训练 DNN,省去大部分乘法
BinaryConnect 在前向和反向传播中都使用二值权重(如 -1 或 1),同时保留存储权重的精度用于累积梯度,从而把大量乘加运算换成简单的累加,有利于专用深度学习硬件。作者表明它与其他 dropout 方案一样起到正则化作用,并在排列不变 MNIST、CIFAR-10 和 SVHN 上取得接近当时最优的结果。
评论者引用它说明可用位运算替代浮点运算而精度损失很小;2024 年的讨论称它在 2015 年让二值权重训练流行起来,是 BitNet 的前身,还有评论称它带动了模型压缩研究。
学习路径
读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先了解低精度训练与 dropout 这类正则化,再读相关的低精度乘法研究,最后读 BinaryConnect 如何用二值权重训练网络。
- 1
BinaryConnect 的随机二值化可看作一种类似 dropout 的噪声正则化。
读dropout 作为对共适应的抑制,以及其起正则作用的直觉。
- 2
- 3
实验里使用了这种 SVM 式的输出层作为基线配置。
读线性 SVM(平方铰链损失)作为网络输出层的做法。
- 4BinaryConnect: Training Deep Neural Networks with binary weights during propagations
目标论文:训练时前向与反向传播都使用二值权重,省去大部分乘法。
读确定性与随机二值化的方法、用实数权重累积梯度,以及与正则化的联系。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“This got popularized by BinaryConnect in 2015, and groups were training binary networks as early as 2011.”
“This paper had jumpstarted the whole model compression field (which used to be a hot area of research in early 90s): BinaryConnect”
- Training Deep Neural Networks with binary weights during propagations ↗coconutrandom · 2016-02-11 · 3 分