按年被提到
20162024 · 2 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1606.01981 · cs.NE

Deep neural networks are robust to weight binarization and other non-linear distortions

深度神经网络对权重二值化及其他非线性扭曲具有鲁棒性
Paul Merolla, Rathinakumar Appuswamy, John Arthur, Steve K. Esser, Dharmendra Modha · 2016

测试时网络对权重二值化、噪声等扭曲都相当鲁棒

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2016-06-09 · 最近 2025-06-20
3不同的人
4活跃月份
4讨论串
77被引(OpenAlex)

表明已训练好的深度网络在测试时对权重的二值化、加性与乘性噪声、以及一类包含二值化的非线性投影都很鲁棒,有一个网络在每个权重仅 0.68 个有效比特时,CIFAR-10 测试错误率仍为 11%。训练时的权重量化投影可以改变甚至省略,换成其他投影或简单截断权重也行,作者还提出一种随机投影规则,在不做数据增强时在 CIFAR-10 上达到 7.64% 的错误率。

HN 为什么提它

在讨论 1 比特以下权重量化(如 LLM)时,有人引用它作为早在 2016 年就证明神经网络能容忍权重二值化和其他扭曲的先例。

实证研究难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1卷积神经网络(CNN)
2权重量化与二值化网络
3反向传播与训练技巧
4CIFAR-10 / ImageNet 基准

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径沿着低精度训练到权重二值化的脉络,帮你理解该论文所说的鲁棒性是在已有二值网络工作的基础上观察到的。

  1. 1
    Deep Learning with Limited Numerical Precision有限数值精度下的深度学习 · 2015

    展示低数值精度也能训练网络,是量化方向的起点之一。

    读随机舍入对低精度训练的作用。

  2. 2

    继续探索低精度乘法下的训练。

    读不同精度格式下训练的结果;了解精度的下限。

  3. 3
    BinaryConnect: Training Deep Neural Networks with binary weights during propagationsBinaryConnect:在传播过程中用二值权重训练深度神经网络 · 2015

    最早的权重二值化训练方法,目标论文的二值化设置与之相关。

    读前向用二值权重、反向保留实数权重的训练方式。

  4. 4
    Neural Networks with Few Multiplications少乘法的神经网络 · 2015

    把训练中的乘法换成符号翻转和移位,延续二值化思路。

    读随机二值化与量化表示。

  5. 5
    Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1二值化神经网络:权重和激活约束为 +1 或 -1 的深度网络训练 · 2016

    进一步把激活也二值化,是目标论文讨论的极限情形。

    读权重和激活同时二值化的训练技巧(如直通估计)。

  6. 6
    XNOR-Net: ImageNet Classification Using Binary Convolutional Neural NetworksXNOR-Net:用二值卷积神经网络做 ImageNet 分类 · 2016

    把二值化推广到 ImageNet 规模的卷积网络。

    读缩放因子的引入和二值卷积的做法。

  7. 7
    Deep neural networks are robust to weight binarization and other non-linear distortions深度神经网络对权重二值化及其他非线性扭曲具有鲁棒性 · 2016 · 就是这篇

    目标论文:测试时网络对二值化、噪声等扭曲仍然鲁棒。

    读测试时权重扭曲的实验设计和有效比特数的概念。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用paul_mk1 · 2024-02

“Helpful hint to authors: you can get down to 0.68 bits / weight using a similar technique, good chance this will work for LLMs too.”

提示作者用类似技术可压到 0.68 bit/权重,或许适用于 LLM
The Era of 1-bit LLMs: ternary parameters for cost-effective computing原评论 ↗
引用paul_mk1 · 2024-03

“Sub 1-bit has been done at least as far back as 2016 for VGG style networks (my work).”

指出早在 2016 年就有 VGG 类网络做到亚 1 比特(自己的工作)
Towards 1-bit Machine Learning Models原评论 ↗
引用fc417fc802 · 2025-06

“NNs are surprisingly robust to a wide array of distortions. [3]”

引用它说明神经网络对各种扭曲出奇地鲁棒
Posit floating point numbers: thin triangles and other tricks (2019)原评论 ↗
被提交为 story · 1 次