按年被提到
20182018 · 3 次2026
机器学习与深度学习›训练加速与低精度计算·arXiv:1804.07612 · cs.LG

Revisiting Small Batch Training for Deep Neural Networks

重新审视深度神经网络的小批量训练
Dominic Masters, Carlo Luschi · 2018

实验表明小批量(2–32)训练更稳定,泛化往往优于大批量

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 5 人首次 2018-04-23 · 最近 2020-07-06
5不同的人
3活跃月份
5讨论串
609被引(OpenAlex)

论文回顾了学习率缩放与训练时长的常见假设,并在 CIFAR-10、CIFAR-100 和 ImageNet 上比较不同 mini-batch 大小的测试性能。结果显示,批量越大,能稳定收敛的学习率范围越窄;批量在 2 到 32 之间时表现始终最好,这与主张使用数千批量的近期工作相反。

HN 为什么提它

有 HN 评论者拿它印证自己的经验:配合 batch norm 时小批量依然效果很好,同时也承认它只测了标准视觉数据集,并不能算定论。

实证研究难度 3 / 5约 30 分钟经得起时间
读之前最好知道
1随机梯度下降与 mini-batch
2学习率调度
3Batch Normalization
4卷积神经网络图像分类

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你了解损失曲面、大批量训练的泛化差距,以及批归一化和残差网络,再看小批量训练的系统实验。

  1. 1
    The Loss Surfaces of Multilayer Networks多层网络的损失曲面 · 2014

    解释大网络损失曲面的结构,是讨论批大小与极小值性质的背景。

    读局部极小值的分布与损失值的关系。

  2. 2
    Qualitatively characterizing neural network optimization problems定性刻画神经网络的优化问题 · 2014

    考察从初始点到解的路径上的优化难度,是理解优化过程的补充背景。

    读沿直线路径的损失变化观察。

  3. 3
    On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima关于深度学习的大批量训练:泛化差距与尖锐极小值 · 2016

    提出大批量训练收敛到尖锐极小值导致泛化变差,本文正是对这一说法做实验检验。

    读大批量泛化差距的现象与尖锐极小值的解释。

  4. 4
    Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift批归一化:通过减少内部协变量偏移加速深度网络训练 · 2015

    本文的实验用到批归一化,其效果与批大小相关。

    读批归一化的计算方式,以及它对小批量统计量的依赖。

  5. 5
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    本文使用 ResNet 作为实验网络之一。

    读残差网络整体结构。

  6. 6
    Revisiting Small Batch Training for Deep Neural Networks重新审视深度神经网络的小批量训练 · 2018 · 就是这篇

    目标论文:实验表明 2 到 32 的小批量训练更稳定,泛化往往优于大批量。

    读学习率随批大小缩放的设置,以及各批大小下的测试性能曲线。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用jcreinhold · 2020-07

“They only look at some standard CV datasets, so it isn't conclusive by any means, but the experimental results jive with my experience”

认为实验结果与自己的经验相符,虽只用标准 CV 数据集、不算定论
Building a CT Scan Covid-19 Classifier Using PyTorch原评论 ↗
被提交为 story · 4 次