“the DoReFa paper[3] gives an excellent summary of the falloff in accuracy through 32-8-4-2-1 bits for weights, activations, and gradients”
DoReFa-Net: Training Low Bitwidth Convolutional Neural Networks with Low Bitwidth Gradients
DoReFa-Net:用低比特权重、激活与梯度训练卷积网络
论文提出 DoReFa-Net,用低比特权重、激活和同样低比特的参数梯度训练卷积网络:反向传播时梯度被随机量化为低比特,使前向与反向的卷积都能用位卷积核加速,可在 CPU、FPGA、ASIC 和 GPU 上高效实现。在 SVHN 和 ImageNet 上精度与 32 位版本相当,例如 AlexNet 衍生网络用 1 位权重、2 位激活、6 位梯度从头训练,ImageNet 验证集 top-1 为 46.1%。
HN 评论者用它来说明神经网络训练和推理可以在很低的位宽下进行,作为 TPU 等硬件上低精度训练以及 LLM 之前就已有低比特量化的证据。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径沿着低精度与二值化神经网络的发展线索走:从低位宽训练,到二值权重,再到二值激活和卷积加速,最后读 DoReFa-Net。
- 1
展示低位宽定点数配合随机舍入就能训练网络,是 DoReFa 随机量化梯度的思想源头。
读随机舍入与确定性舍入的区别,以及位宽对精度的影响。
- 2
BinaryConnect 首次在传播中使用二值权重训练,同时保持实值权重做更新。
读二值化权重做前向、反向,实值权重累积梯度的训练流程。
- 3
同样是量化权重来省乘法,并进一步量化表示,目标论文延续这一思路到梯度。
读随机二值化权重,以及量化反向传播以消除乘法的思路。
- 4
把权重和激活都二值化,目标论文以其为基础、再把梯度也量化。
读二值化函数、直通估计器(straight-through estimator)与位运算如何替代乘加。
- 5
XNOR-Net 在 ImageNet 上做二值卷积,目标论文与它直接对比并泛化到任意位宽。
读缩放因子的设计,以及二值卷积如何用 XNOR 与 popcount 实现。
- 6DoReFa-Net: Training Low Bitwidth Convolutional Neural Networks with Low Bitwidth Gradients
目标论文:用低位宽权重、激活和梯度训练卷积网络,用位卷积加速训练与推理。
读权重、激活、梯度的量化函数(尤其是梯度的随机量化),以及位卷积内核和不同位宽组合的实验。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Here is another paper demonstrating very good results with just 6 bit gradients: DoReFa-Net”
“Training is also done as tensor operations, and training can be done at limited precision[1].”
“before-LLM-era deep learning already had low bit quantization down to 1w2f [0] working back in 2016 [1].”