按年被提到
20182019 · 2 次2026
机器学习与深度学习›训练加速与低精度计算·arXiv:1811.01721 · math.NA

Rethinking floating point for deep learning

为深度学习重新思考浮点数
Jeff Johnson · 2018

提出混合对数乘法与 Kulisch 累加的 8 位对数浮点,能效优于 int8

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 3 人首次 2018-11-08 · 最近 2019-07-21
3不同的人
3活跃月份
3讨论串
109被引(OpenAlex)

论文用混合的对数乘法加线性加法、Kulisch 累加和借自 posit 格式的渐变精度编码,设计了一种 8 位对数浮点,无需重新训练、仅靠四舍五入替换 float32 参数。在 ImageNet 上的 ResNet-50 中,其 top-1 精度与 float32 相差 0.9%、top-5 相差 0.2%;在 28 nm 工艺下,8/38 位对数浮点乘加的功耗为 8/32 位整数乘加的 0.96 倍、面积为 1.12 倍,16 位版本相对 IEEE 754 float16 乘加更省功耗和面积。

HN 为什么提它

评论者用它说明存在一个能生成多种数制的通用框架,作为深度学习硬件数值格式讨论的参考。

方法难度 4 / 5约 50 分钟经得起时间
读之前最好知道
1IEEE 754 浮点数格式
2神经网络量化(quantization)
3posit 数制
4数字电路与 ASIC 设计基础
5卷积神经网络

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

沿着低精度训练、二值与少乘法网络、对数表示的脉络,理解为什么要在乘法与累加上重新设计浮点。

  1. 1
    Deep Learning with Limited Numerical Precision有限数值精度下的深度学习 · 2015

    展示用低位宽定点训练网络,随机舍入是关键,是低精度硬件的起点。

    读抓随机舍入对低精度训练的作用,以及位宽与精度损失的关系。

  2. 2
    BinaryConnect: Training Deep Neural Networks with binary weights during propagationsBinaryConnect:在传播过程中用二值权重训练深度神经网络 · 2015

    用二值权重训练网络,省掉大部分乘法,代表量化路线。

    读抓二值权重前向和反向的处理方式,以及如何保留实数权重做更新。

  3. 3
    Neural Networks with Few Multiplications少乘法的神经网络 · 2015

    把乘法变成符号翻转与移位,说明乘法是能耗瓶颈。

    读抓随机二值化与量化表示如何去掉乘法的思路。

  4. 4
    Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1二值化神经网络:权重和激活约束为 +1 或 -1 的深度网络训练 · 2016

    权重与激活都二值化,是低比特网络的极端对照。

    读抓二值激活与权重的训练方法和硬件收益,对照本文的 8 位对数浮点。

  5. 5

    直接用对数表示替代线性表示,本文的对数乘法思想与它相近。

    读抓对数域表示把乘法变加法的做法及其精度表现。

  6. 6
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    ResNet 是衡量低精度表示精度的典型 ImageNet 网络。

    读只需了解残差块结构,以便读懂本文的精度对比实验。

  7. 7
    Rethinking floating point for deep learning为深度学习重新思考浮点数 · 2018 · 就是这篇

    混合对数乘法与 Kulisch 累加的 8 位对数浮点,能效优于 int8。

    读抓对数乘法、精确累加的组合,以及与 int8 的能效对比。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用edwintorok · 2019-07

“In particular the latter describes a generic framework that can be used to generate a lot of different number systems.”

指出后者给出一个能生成多种数制的通用框架
Intel Prepares to Graft Google’s Bfloat16 onto Processors原评论 ↗
被提交为 story · 2 次