按年被提到
20162017 · 3 次2026
机器学习与深度学习›训练加速与低精度计算·arXiv:1606.06160 · cs.NE

DoReFa-Net: Training Low Bitwidth Convolutional Neural Networks with Low Bitwidth Gradients

DoReFa-Net:用低比特梯度训练低比特宽度卷积神经网络
Shuchang Zhou, Yuxin Wu, Zekun Ni, Xinyu Zhou, He Wen, Yuheng Zou · 2016

DoReFa-Net:用低比特权重、激活与梯度训练卷积网络

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2017-02-11 · 最近 2024-02-29
3不同的人
3活跃月份
4讨论串
1,689被引(OpenAlex)

论文提出 DoReFa-Net,用低比特权重、激活和同样低比特的参数梯度训练卷积网络:反向传播时梯度被随机量化为低比特,使前向与反向的卷积都能用位卷积核加速,可在 CPU、FPGA、ASIC 和 GPU 上高效实现。在 SVHN 和 ImageNet 上精度与 32 位版本相当,例如 AlexNet 衍生网络用 1 位权重、2 位激活、6 位梯度从头训练,ImageNet 验证集 top-1 为 46.1%。

HN 为什么提它

HN 评论者用它来说明神经网络训练和推理可以在很低的位宽下进行,作为 TPU 等硬件上低精度训练以及 LLM 之前就已有低比特量化的证据。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1卷积神经网络(CNN)
2神经网络量化(quantization)
3反向传播与梯度
4定点数与位运算

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径沿着低精度与二值化神经网络的发展线索走:从低位宽训练,到二值权重,再到二值激活和卷积加速,最后读 DoReFa-Net。

  1. 1
    Deep Learning with Limited Numerical Precision有限数值精度下的深度学习 · 2015

    展示低位宽定点数配合随机舍入就能训练网络,是 DoReFa 随机量化梯度的思想源头。

    读随机舍入与确定性舍入的区别,以及位宽对精度的影响。

  2. 2
    BinaryConnect: Training Deep Neural Networks with binary weights during propagationsBinaryConnect:在传播过程中用二值权重训练深度神经网络 · 2015

    BinaryConnect 首次在传播中使用二值权重训练,同时保持实值权重做更新。

    读二值化权重做前向、反向,实值权重累积梯度的训练流程。

  3. 3
    Neural Networks with Few Multiplications少乘法的神经网络 · 2015

    同样是量化权重来省乘法,并进一步量化表示,目标论文延续这一思路到梯度。

    读随机二值化权重,以及量化反向传播以消除乘法的思路。

  4. 4
    Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1二值化神经网络:权重和激活约束为 +1 或 -1 的深度网络训练 · 2016

    把权重和激活都二值化,目标论文以其为基础、再把梯度也量化。

    读二值化函数、直通估计器(straight-through estimator)与位运算如何替代乘加。

  5. 5
    XNOR-Net: ImageNet Classification Using Binary Convolutional Neural NetworksXNOR-Net:用二值卷积神经网络做 ImageNet 分类 · 2016

    XNOR-Net 在 ImageNet 上做二值卷积,目标论文与它直接对比并泛化到任意位宽。

    读缩放因子的设计,以及二值卷积如何用 XNOR 与 popcount 实现。

  6. 6
    DoReFa-Net: Training Low Bitwidth Convolutional Neural Networks with Low Bitwidth GradientsDoReFa-Net:用低比特梯度训练低比特宽度卷积神经网络 · 2016 · 就是这篇

    目标论文:用低位宽权重、激活和梯度训练卷积网络,用位卷积加速训练与推理。

    读权重、激活、梯度的量化函数(尤其是梯度的随机量化),以及位卷积内核和不同位宽组合的实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐paulsutter · 2017-02

“the DoReFa paper[3] gives an excellent summary of the falloff in accuracy through 32-8-4-2-1 bits for weights, activations, and gradients”

称赞它总结了权重、激活、梯度从 32 位降到 1 位的精度下降
Intel Gets Serious About Neuromorphic, Cognitive Computing Future原评论 ↗
引用mannigfaltig · 2017-04

“Here is another paper demonstrating very good results with just 6 bit gradients: DoReFa-Net”

拿它证明 6 位梯度也能训练得很好
An In-Depth Look at Google's Tensor Processing Unit Architecture原评论 ↗
引用paulsutter · 2017-04

“Training is also done as tensor operations, and training can be done at limited precision[1].”

拿它说明训练可在低精度下进行,TPU 也能训练
Intel Discontinues the Intel Developer Forum; IDF17 Cancelled原评论 ↗
引用rfoo · 2024-02

“before-LLM-era deep learning already had low bit quantization down to 1w2f [0] working back in 2016 [1].”

拿它说明 LLM 之前 2016 年就有 1 位权重低比特训练
The Era of 1-bit LLMs: ternary parameters for cost-effective computing原评论 ↗