按年被提到
20172017 · 2 次2026
机器学习与深度学习›训练加速与低精度计算·arXiv:1710.03740 · cs.AI

Mixed Precision Training

混合精度训练
Paulius Micikevicius, Sharan Narang, Jonah Alben, Gregory Diamos, Erich Elsen, David Garcia, Boris Ginsburg, Michael Houston, Oleksii Kuchaiev, Ganesh Venkatesh, Hao Wu · 2017

用 FP16 训练神经网络,配合 FP32 主权重与损失缩放

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2017-10-11 · 最近 2023-07-12
5不同的人
4活跃月份
5讨论串
1,177被引(OpenAlex)

随着模型变大,训练所需的显存和算力也增加。论文介绍用 IEEE 半精度浮点数存储权重、激活和梯度来训练深度网络的技术,并提出两种弥补半精度数值范围有限的做法:一是保留一份单精度的权重副本,用来累积每次优化器步骤的梯度;二是对损失做适当缩放(loss scaling),避免半精度梯度丢失信息。该方法适用于卷积网络、循环网络和 GAN,也适用于超过 1 亿参数的大模型,可使显存占用降低近 2 倍,并可在未来的半精度硬件上获得明显的计算加速。

HN 为什么提它

HN 上的人把它作为 FP16 训练的标准参考,用来说明实践中要用 fp16 加 fp32 主副本,做得不当会损失精度,并提到 tensor core 带来的加速。

方法难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1浮点数格式(FP16 与 FP32)
2反向传播与梯度下降
3GPU 训练与显存管理
4数值稳定性

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

先看低精度训练的前人工作,再看混合精度训练实际要验证的几类网络(检测、语音、翻译、语言模型),理解为什么需要 FP32 主权重和损失缩放。

  1. 1
    Deep Learning with Limited Numerical Precision有限数值精度下的深度学习 · 2015

    早期用 16 位定点数训练网络的工作,说明低精度训练的可行性与舍入误差问题。

    读随机舍入(stochastic rounding)如何让低位宽累加不丢梯度;对比本文用 FP16 加 FP32 主权重的思路。

  2. 2
    BinaryConnect: Training Deep Neural Networks with binary weights during propagationsBinaryConnect:在传播过程中用二值权重训练深度神经网络 · 2015

    前向反向都用极低精度权重,同时保留高精度副本做更新,与 FP32 主权重思路相近。

    读权重的高精度副本与低精度前向/反向传播的分工;不必深究二值化细节。

  3. 3
    Faster R-CNN: Towards Real-Time Object Detection with Region Proposal NetworksFaster R-CNN:用区域建议网络实现实时目标检测 · 2015

    混合精度论文用它检验检测任务,检测网络对梯度数值范围更敏感。

    读区域建议网络与检测头的整体结构;对应本文检测实验里损失缩放为何必要。

  4. 4
    Deep Speech 2: End-to-End Speech Recognition in English and MandarinDeep Speech 2:英语与普通话的端到端语音识别 · 2015

    本文的语音识别实验基于 Deep Speech 2,涉及 RNN 与 CTC 损失的低精度训练。

    读整体网络结构(卷积加循环层)与大规模训练规模;了解后再看本文语音结果。

  5. 5
    Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation谷歌神经机器翻译系统:弥合人类与机器翻译之间的差距 · 2016

    本文的机器翻译实验对象,是深层 LSTM 加注意力的大模型。

    读模型规模与训练设置,理解 FP16 在深层循环网络中的梯度范围问题。

  6. 6
    Exploring the Limits of Language Modeling探索语言建模的极限 · 2016

    大规模 LSTM 语言模型,本文用它测试 FP16 下的大词表语言建模。

    读十亿词基准上的模型结构与困惑度指标;对应本文语言模型实验。

  7. 7
    Mixed Precision Training混合精度训练 · 2017 · 就是这篇

    目标论文:FP16 存权重、激活与梯度,配合 FP32 主权重和损失缩放。

    读FP32 主权重、损失缩放(loss scaling)、FP16 乘加 FP32 累加三项技术;再看各任务实验。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用Smerity · 2017-10

“For the most part they're all outlined in NVIDIA / Baidu's "Mixed Precision Training" paper.”

指出 FP16 训练的问题大多已在这篇论文中讲清
Introducing Amazon EC2 P3 Instances原评论 ↗
引用option · 2018-10

“Paper: Mixed Precision Training”

贴出论文链接
2080 RTX performance on Tensorflow with CUDA 10原评论 ↗
引用deepnotderp · 2019-06

“In practice, you want fp16 with fp32 master copies, and it turns out that if done improperly, even fp32 can cause accuracy losses sometimes [1].”

引它说明 fp16 配 fp32 主副本,做不好 fp32 也会损失精度
Chip design drastically reduces energy needed to compute with light原评论 ↗
引用gdiamos · 2023-07

“[5] - Mixed Precision Training”

作为参考文献之一列出,供启发,未多作说明
Free and Fast LLM Finetuning原评论 ↗
被提交为 story · 1 次