“For the most part they're all outlined in NVIDIA / Baidu's "Mixed Precision Training" paper.”
Mixed Precision Training
用 FP16 训练神经网络,配合 FP32 主权重与损失缩放
随着模型变大,训练所需的显存和算力也增加。论文介绍用 IEEE 半精度浮点数存储权重、激活和梯度来训练深度网络的技术,并提出两种弥补半精度数值范围有限的做法:一是保留一份单精度的权重副本,用来累积每次优化器步骤的梯度;二是对损失做适当缩放(loss scaling),避免半精度梯度丢失信息。该方法适用于卷积网络、循环网络和 GAN,也适用于超过 1 亿参数的大模型,可使显存占用降低近 2 倍,并可在未来的半精度硬件上获得明显的计算加速。
HN 上的人把它作为 FP16 训练的标准参考,用来说明实践中要用 fp16 加 fp32 主副本,做得不当会损失精度,并提到 tensor core 带来的加速。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出先看低精度训练的前人工作,再看混合精度训练实际要验证的几类网络(检测、语音、翻译、语言模型),理解为什么需要 FP32 主权重和损失缩放。
- 1
早期用 16 位定点数训练网络的工作,说明低精度训练的可行性与舍入误差问题。
读随机舍入(stochastic rounding)如何让低位宽累加不丢梯度;对比本文用 FP16 加 FP32 主权重的思路。
- 2
前向反向都用极低精度权重,同时保留高精度副本做更新,与 FP32 主权重思路相近。
读权重的高精度副本与低精度前向/反向传播的分工;不必深究二值化细节。
- 3
混合精度论文用它检验检测任务,检测网络对梯度数值范围更敏感。
读区域建议网络与检测头的整体结构;对应本文检测实验里损失缩放为何必要。
- 4
本文的语音识别实验基于 Deep Speech 2,涉及 RNN 与 CTC 损失的低精度训练。
读整体网络结构(卷积加循环层)与大规模训练规模;了解后再看本文语音结果。
- 5
本文的机器翻译实验对象,是深层 LSTM 加注意力的大模型。
读模型规模与训练设置,理解 FP16 在深层循环网络中的梯度范围问题。
- 6
大规模 LSTM 语言模型,本文用它测试 FP16 下的大词表语言建模。
读十亿词基准上的模型结构与困惑度指标;对应本文语言模型实验。
- 7Mixed Precision Training
目标论文:FP16 存权重、激活与梯度,配合 FP32 主权重和损失缩放。
读FP32 主权重、损失缩放(loss scaling)、FP16 乘加 FP32 累加三项技术;再看各任务实验。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Paper: Mixed Precision Training”
“In practice, you want fp16 with fp32 master copies, and it turns out that if done improperly, even fp32 can cause accuracy losses sometimes [1].”
“[5] - Mixed Precision Training”
- Mixed Precision Training for Deep Learning Models ↗snarang · 2017-10-11 · 6 分