按年被提到
20152016 · 2 次2026
机器学习与深度学习›训练加速与低精度计算·arXiv:1511.00363 · cs.LG

BinaryConnect: Training Deep Neural Networks with binary weights during propagations

BinaryConnect:在传播过程中用二值权重训练深度神经网络
Matthieu Courbariaux, Yoshua Bengio, Jean-Pierre David · 2015

前向与反向传播都用二值权重训练 DNN,省去大部分乘法

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2016-02-11 · 最近 2024-11-09
4不同的人
4活跃月份
4讨论串
2,110被引(OpenAlex)

BinaryConnect 在前向和反向传播中都使用二值权重(如 -1 或 1),同时保留存储权重的精度用于累积梯度,从而把大量乘加运算换成简单的累加,有利于专用深度学习硬件。作者表明它与其他 dropout 方案一样起到正则化作用,并在排列不变 MNIST、CIFAR-10 和 SVHN 上取得接近当时最优的结果。

HN 为什么提它

评论者引用它说明可用位运算替代浮点运算而精度损失很小;2024 年的讨论称它在 2015 年让二值权重训练流行起来,是 BitNet 的前身,还有评论称它带动了模型压缩研究。

方法难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1神经网络训练(反向传播、SGD)
2权重二值化与量化
3Dropout 等正则化方法
4数字硬件中乘法器的成本

学习路径

读这篇之前,按顺序读书架上的 3 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先了解低精度训练与 dropout 这类正则化,再读相关的低精度乘法研究,最后读 BinaryConnect 如何用二值权重训练网络。

  1. 1
    Improving neural networks by preventing co-adaptation of feature detectors通过防止特征检测器的共适应来改进神经网络 · 2012

    BinaryConnect 的随机二值化可看作一种类似 dropout 的噪声正则化。

    读dropout 作为对共适应的抑制,以及其起正则作用的直觉。

  2. 2
    Deep Learning with Limited Numerical Precision有限数值精度下的深度学习 · 2015

    展示用低位宽定点数加随机舍入训练网络仍能保持精度,是低精度训练的基础。

    读随机舍入的做法以及对精度的影响。

  3. 3

    实验里使用了这种 SVM 式的输出层作为基线配置。

    读线性 SVM(平方铰链损失)作为网络输出层的做法。

  4. 4
    BinaryConnect: Training Deep Neural Networks with binary weights during propagationsBinaryConnect:在传播过程中用二值权重训练深度神经网络 · 2015 · 就是这篇

    目标论文:训练时前向与反向传播都使用二值权重,省去大部分乘法。

    读确定性与随机二值化的方法、用实数权重累积梯度,以及与正则化的联系。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用fmap · 2016-03

“this paper BinaryConnect shows that you can replace floating point operations by simple bitwise operations”

指出论文表明可用简单位运算替代浮点运算
AlphaGo beats the world champion Lee Sedol in first of five matches原评论 ↗
引用paul_mk1 · 2024-03

“This got popularized by BinaryConnect in 2015, and groups were training binary networks as early as 2011.”

指出 BinaryConnect 在 2015 年推广了二值网络,更早已有人训练
Fine tune a 70B language model at home原评论 ↗
引用p1esk · 2024-11

“This paper had jumpstarted the whole model compression field (which used to be a hot area of research in early 90s): BinaryConnect”

指出这篇论文开启了整个模型压缩领域的研究
SVDQuant: 4-Bit Quantization Powers 12B Flux on a 16GB 4090 GPU with 3x Speedup原评论 ↗
被提交为 story · 1 次