“Helpful hint to authors: you can get down to 0.68 bits / weight using a similar technique, good chance this will work for LLMs too.”
按年被提到
20162024 · 2 次2026
Deep neural networks are robust to weight binarization and other non-linear distortions
深度神经网络对权重二值化及其他非线性扭曲具有鲁棒性
Paul Merolla, Rathinakumar Appuswamy, John Arthur, Steve K. Esser, Dharmendra Modha · 2016
测试时网络对权重二值化、噪声等扭曲都相当鲁棒
被提及 · 3 人首次 2016-06-09 · 最近 2025-06-20
3不同的人
4活跃月份
4讨论串
77被引(OpenAlex)
表明已训练好的深度网络在测试时对权重的二值化、加性与乘性噪声、以及一类包含二值化的非线性投影都很鲁棒,有一个网络在每个权重仅 0.68 个有效比特时,CIFAR-10 测试错误率仍为 11%。训练时的权重量化投影可以改变甚至省略,换成其他投影或简单截断权重也行,作者还提出一种随机投影规则,在不做数据增强时在 CIFAR-10 上达到 7.64% 的错误率。
HN 为什么提它
在讨论 1 比特以下权重量化(如 LLM)时,有人引用它作为早在 2016 年就证明神经网络能容忍权重二值化和其他扭曲的先例。
实证研究难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1卷积神经网络(CNN)
2权重量化与二值化网络
3反向传播与训练技巧
4CIFAR-10 / ImageNet 基准
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径沿着低精度训练到权重二值化的脉络,帮你理解该论文所说的鲁棒性是在已有二值网络工作的基础上观察到的。
- 1
- 2
继续探索低精度乘法下的训练。
读不同精度格式下训练的结果;了解精度的下限。
- 3
最早的权重二值化训练方法,目标论文的二值化设置与之相关。
读前向用二值权重、反向保留实数权重的训练方式。
- 4
- 5
进一步把激活也二值化,是目标论文讨论的极限情形。
读权重和激活同时二值化的训练技巧(如直通估计)。
- 6
把二值化推广到 ImageNet 规模的卷积网络。
读缩放因子的引入和二值卷积的做法。
- 7Deep neural networks are robust to weight binarization and other non-linear distortions
目标论文:测试时网络对二值化、噪声等扭曲仍然鲁棒。
读测试时权重扭曲的实验设计和有效比特数的概念。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及引用paul_mk1 · 2024-02
提示作者用类似技术可压到 0.68 bit/权重,或许适用于 LLM
引用paul_mk1 · 2024-03
“Sub 1-bit has been done at least as far back as 2016 for VGG style networks (my work).”
指出早在 2016 年就有 VGG 类网络做到亚 1 比特(自己的工作)
引用fc417fc802 · 2025-06
“NNs are surprisingly robust to a wide array of distortions. [3]”
引用它说明神经网络对各种扭曲出奇地鲁棒
被提交为 story · 1 次
- Deep neural networks are robust to nonlinear weight distortions ↗beefman · 2016-06-09 · 1 分