按年被提到
20162017 · 4 次2026
视觉、语音与图像生成›卷积网络与图像识别·arXiv:1603.05279 · cs.CV

XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks

XNOR-Net:用二值卷积神经网络做 ImageNet 分类
Mohammad Rastegari, Vicente Ordonez, Joseph Redmon, Ali Farhadi · 2016

把卷积网络权重甚至输入二值化,省内存且可在 CPU 实时运行

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 7 人首次 2016-03-19 · 最近 2024-11-09
7不同的人
6活跃月份
7讨论串
4,392被引(OpenAlex)

论文提出对标准卷积神经网络的两种高效近似:Binary-Weight-Networks 把滤波器近似为二值,节省 32 倍内存;XNOR-Networks 则让滤波器和卷积层输入都是二值,主要用二值运算近似卷积,卷积运算快 58 倍、内存节省 32 倍,使 CPU 上实时运行先进网络成为可能。在 ImageNet 上,Binary-Weight 版 AlexNet 的 top-1 准确率仅比全精度低 2.9%,并比 BinaryConnect 和 BinaryNets 高出超过 16%。

HN 为什么提它

HN 上的人把它当作 1 比特量化网络的早期代表,在讨论低精度推理、硬件加速器和后来的二值网络工作时反复引用,用来说明极低精度是可行的。

方法难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1卷积神经网络(CNN)
2神经网络量化(quantization)
3反向传播与直通估计
4位运算(XNOR 与 popcount)

学习路径

读这篇之前,按顺序读书架上的 7 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先看为什么要压缩网络(浅网络、剪枝、小模型),再看二值权重的前作 BinaryConnect,最后读 XNOR-Net 如何把输入也二值化。

  1. 1
    Do Deep Nets Really Need to be Deep?深度网络真的需要很深吗? · 2013

    说明网络可以被压得很小,是模型压缩的动机之一。

    读浅层网络模仿深层网络的做法和结论;实验细节可略读。

  2. 2

    剪枝是与二值化并列的压缩路线,可用来比较省内存的方法。

    读按权重大小剪枝再重训练的流程;了解即可。

  3. 3
    SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model sizeSqueezeNet:参数少 50 倍、模型小于 0.5MB 的 AlexNet 级精度 · 2016

    同样追求小模型,是 XNOR-Net 论文里比较压缩效果的对象。

    读Fire 模块的设计与参数量与精度的关系。

  4. 4
    Deep Learning with Limited Numerical Precision有限数值精度下的深度学习 · 2015

    展示低精度数值训练网络的可行性,是二值化想法的铺垫。

    读随机舍入下低位宽训练为何能保持精度。

  5. 5
    BinaryConnect: Training Deep Neural Networks with binary weights during propagationsBinaryConnect:在传播过程中用二值权重训练深度神经网络 · 2015

    XNOR-Net 的 Binary-Weight-Network 直接建立在它的二值权重训练之上。

    读前向用二值权重、反向用实数权重更新的训练方法。

  6. 6
    Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift批归一化:通过减少内部协变量偏移加速深度网络训练 · 2015

    XNOR-Net 在二值卷积前做批归一化,需要理解其作用。

    读批归一化的计算方式与作用,对照 XNOR-Net 里的层顺序。

  7. 7
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    XNOR-Net 在 ResNet 等网络上做二值化实验。

    读残差块结构,便于读懂二值化实验里的网络配置。

  8. 8
    XNOR-Net: ImageNet Classification Using Binary Convolutional Neural NetworksXNOR-Net:用二值卷积神经网络做 ImageNet 分类 · 2016 · 就是这篇

    目标论文:Binary-Weight-Networks 与 XNOR-Networks。

    读二值权重的缩放因子最优解的推导,以及用 XNOR 加位计数近似卷积;再看 ImageNet 实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐dharma1 · 2017-01

“Lots of people doing interesting work in that area, check out these guys - [LINK]”

推荐这个二值权重 CNN 作低精度推理方向的工作
TensorFlow machine learning now optimized for the Snapdragon 835 and Hexagon 682原评论 ↗
引用ericflo · 2016-04

“it'd be interesting to see how this technique stacks up against one of those fancy new binary networks (e.g. XNOR-Net)”

想看这项技术与二值网络相比表现如何
Real-Time Texture Synthesis with Markovian Generative Adversarial Networks原评论 ↗
引用sapphireblue · 2016-07

“Arguably, one could get another order of magnitude speedup by implementing XNOR-net hardware accelerator, but it hasn't been done yet.”

认为实现 XNOR-Net 硬件加速器还能再快一个数量级,但尚未有人做
Notes from the fourth RISC-V workshop原评论 ↗
引用emcq · 2017-01

“The main difference is that XNOR-Net uses 1 bit quantized weights and XNOR+popcount to approximate the dot product of convolution”

解释它用 1 位权重和 XNOR+popcount 近似卷积点积
XNOR.ai frees AI from the prison of the supercomputer原评论 ↗
引用paulsutter · 2017-02

“Even smaller precision is practical (down to 1 bit with XNORnet[2]”

举它说明低到 1 位的精度也是可行的
Intel Gets Serious About Neuromorphic, Cognitive Computing Future原评论 ↗
引用emcq · 2017-02

“There was no evidence for his claim then, and now this is clearly false [2, 3].”

引用它在 ImageNet 上的二值 CNN 结果反驳 LeCun 的精度说法
Intel Gets Serious About Neuromorphic, Cognitive Computing Future原评论 ↗
看全部 7 条 →
引用buildbot · 2024-11

“Exactly as xnornet was doing way back in 2016 - shadow 32bit weights, quantized to 1 bit during the forward pass.”

指出 2016 年的 XNOR-Net 早已用影子 32 位权重、前向时量化到 1 位
SVDQuant: 4-Bit Quantization Powers 12B Flux on a 16GB 4090 GPU with 3x Speedup原评论 ↗
被提交为 story · 1 次