按年被提到
20152015 · 3 次2026
机器学习与深度学习›训练加速与低精度计算·arXiv:1502.02551 · cs.LG

Deep Learning with Limited Numerical Precision

有限数值精度下的深度学习
Suyog Gupta, Ankur Agrawal, Kailash Gopalakrishnan, Pritish Narayanan · 2015

随机舍入下用 16 位定点数训练深度网络,精度几乎无损

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 7 人首次 2015-05-09 · 最近 2018-05-20
7不同的人
6活跃月份
6讨论串
1,363被引(OpenAlex)

论文研究有限精度数据表示和计算对神经网络训练的影响。在低精度定点计算的范围内,作者发现舍入方式对训练过程中的网络行为起决定性作用:采用随机舍入时,只用 16 位定点数表示就能训练深度网络,分类精度几乎没有下降。他们还展示了一个实现低精度定点运算与随机舍入的节能硬件加速器。

HN 为什么提它

评论者用它说明深度学习训练可以在低数值精度下进行,并把它当作低精度硬件(如 TPU)的背景来源。

实证研究难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1定点数与浮点数表示
2神经网络训练与反向传播
3随机舍入(stochastic rounding)
4硬件加速器基础

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用benanne · 2015-05

“There has been quite some research on reducing the bit depth further the last couple of years, see e.g. Deep Learning with Limited Numerical Precision and [OTHER_PAPER].”

作为近年降低位宽研究的例子之一
Fast Approximate Logarithms, Part I: The Basics原评论 ↗
引用Houshalter · 2015-09

“Relevant paper, using stochastic rounding.”

指出这篇相关,用了 stochastic rounding
Why Are Eight Bits Enough for Deep Neural Networks?原评论 ↗
引用Sanddancer · 2015-11

“seems to show that at least some algorithms can see a big benefit from FPGAs Deep Learning with Limited Numerical Precision”

引它说明部分算法用 FPGA 收益很大
TensorFlow: open-source library for machine intelligence原评论 ↗
引用deepnotderp · 2017-02

“For training: Deep Learning with Limited Numerical Precision”

给出能在低数值精度下训练深度学习的论文
The rise of AI is creating new variety in the chip market, and trouble for Intel原评论 ↗
引用shepardrtc · 2017-04

“Here's a paper they published a little while ago about limited numerical precision and deep learning:”

贴出 Google 早先关于有限精度的论文,作为 TPU 的背景
An In-Depth Look at Google's Tensor Processing Unit Architecture原评论 ↗
引用koja86 · 2017-04

“There are hints that even less than 8 bits per weight might be usable (for certain cases and on custom hw).”

提示每权重不足 8 bit 在某些情况和定制硬件上或许可用
An In-Depth Look at Google's Tensor Processing Unit Architecture原评论 ↗
被提交为 story · 1 次