引用jcreinhold · 2020-07
“They only look at some standard CV datasets, so it isn't conclusive by any means, but the experimental results jive with my experience”
认为实验结果与自己的经验相符,虽只用标准 CV 数据集、不算定论
实验表明小批量(2–32)训练更稳定,泛化往往优于大批量
论文回顾了学习率缩放与训练时长的常见假设,并在 CIFAR-10、CIFAR-100 和 ImageNet 上比较不同 mini-batch 大小的测试性能。结果显示,批量越大,能稳定收敛的学习率范围越窄;批量在 2 到 32 之间时表现始终最好,这与主张使用数千批量的近期工作相反。
有 HN 评论者拿它印证自己的经验:配合 batch norm 时小批量依然效果很好,同时也承认它只测了标准视觉数据集,并不能算定论。
这条路径帮你了解损失曲面、大批量训练的泛化差距,以及批归一化和残差网络,再看小批量训练的系统实验。
考察从初始点到解的路径上的优化难度,是理解优化过程的补充背景。
读沿直线路径的损失变化观察。
提出大批量训练收敛到尖锐极小值导致泛化变差,本文正是对这一说法做实验检验。
读大批量泛化差距的现象与尖锐极小值的解释。
本文的实验用到批归一化,其效果与批大小相关。
读批归一化的计算方式,以及它对小批量统计量的依赖。
目标论文:实验表明 2 到 32 的小批量训练更稳定,泛化往往优于大批量。
读学习率随批大小缩放的设置,以及各批大小下的测试性能曲线。
“They only look at some standard CV datasets, so it isn't conclusive by any means, but the experimental results jive with my experience”