按年被提到
20162016 · 1 次2026
机器学习与深度学习›训练加速与低精度计算·arXiv:1602.02830 · cs.LG

Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1

二值化神经网络:权重和激活约束为 +1 或 -1 的深度网络训练
Matthieu Courbariaux, Itay Hubara, Daniel Soudry, Ran El-Yaniv, Yoshua Bengio · 2016

权重与激活都二值化的神经网络训练方法

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2016-09-05 · 最近 2024-02-28
4不同的人
4活跃月份
4讨论串
2,012被引(OpenAlex)

提出训练二值化神经网络(BNN)的方法:训练时用二值权重和激活计算参数梯度,运行时权重和激活均为二值,可大幅减少内存和访存、用位运算替代大部分算术运算。在 MNIST、CIFAR-10 和 SVHN 上取得接近当时最优的结果,并写了二值矩阵乘法 GPU 核,使 MNIST 的 BNN 比未优化的核快 7 倍且精度不降。

HN 为什么提它

作为二值权重/低精度神经网络的先例被引用,也有评论者用它佐证二值网络是可行的。

方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1深度神经网络与反向传播
2量化与低精度计算
3位运算与 GPU 编程基础

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先看低精度训练的基础,再读 BinaryConnect 与少乘法网络等把权重二值化的工作,最后读权重与激活都二值化的 BNN。

  1. 1
    Deep Learning with Limited Numerical Precision有限数值精度下的深度学习 · 2015

    低精度训练的基础,说明用少量位数加随机舍入也能训练网络。

    读定点表示与随机舍入的效果;跳过硬件加速器部分。

  2. 2

    同一作者组对低精度乘法训练的研究,是本文所处线索的起点之一。

    读不同数值格式下训练的影响,以及对乘法位宽的需求。

  3. 3
    BinaryConnect: Training Deep Neural Networks with binary weights during propagationsBinaryConnect:在传播过程中用二值权重训练深度神经网络 · 2015

    BNN 在此基础上进一步把激活也二值化,训练方法一脉相承。

    读二值权重的训练方式:实数权重累积梯度、前向使用二值权重。

  4. 4
    Neural Networks with Few Multiplications少乘法的神经网络 · 2015

    同期另一条把乘法换成符号翻转与移位的路线,可与 BNN 对照。

    读随机二值化和量化表示的做法。

  5. 5

    同期的位运算神经网络,与 BNN 同样追求权重和激活的二值化。

    读二值网络的前向计算方式,并与 BNN 的训练办法对照。

  6. 6
    Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1二值化神经网络:权重和激活约束为 +1 或 -1 的深度网络训练 · 2016 · 就是这篇

    目标论文:权重与激活都二值化的神经网络训练方法。

    读梯度估计(直通估计)、位运算取代算术运算,以及在 Torch7 与 Theano 上的实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用cs702 · 2016-09

“[2] Binarized Neural Networks”

作为脚注列出这篇低精度训练论文
Stacked Approximated Regression Machine: A Simple Deep Learning Approach原评论 ↗
引用emcq · 2017-02

“There was no evidence for his claim then, and now this is clearly false [2, 3].”

引用它反驳 LeCun 的说法,二值化网络在 ImageNet 级任务上可行
Intel Gets Serious About Neuromorphic, Cognitive Computing Future原评论 ↗
引用quotemstr · 2019-11

“Artificial neural networks all the way down to binary weights [1] although this approach doesn't seem like the most efficient one.”

指出神经网络可以一路降到二值权重,但觉得这未必最高效
Deep Learning and Its Implications for Computer Architecture and Chip Design原评论 ↗
引用oxxoxoxooo · 2024-02

“Prior art:”

把它列为先前工作,权重和激活限制为 +1 或 -1
The Era of 1-bit LLMs: ternary parameters for cost-effective computing原评论 ↗