“The ResNet Strikes back paper is a great paper for one reason being that it should remind us all to not get lost in the hype and that our advancements are coupled.”
ResNet strikes back: An improved training procedure in timm
用现代训练配方重训 ResNet-50,在 timm 中给出更强基线
ResNet 自 2015 年以来仍是大量研究的默认架构和基线,但训练方法(优化器、数据增强等)已有长足进步。论文把这些进展整合到一套更严格的训练流程中,重新评估原版 ResNet-50,并在 timm 开源库中公开训练设置和预训练模型。按这套设置,原版 ResNet-50 在无额外数据和蒸馏的情况下,224×224 分辨率的 ImageNet-val top-1 准确率可达 80.4%。
评论者用它提醒大家:老架构靠更好的训练方法就能大幅提升,别在新架构的炒作里迷失,模型和训练方法的进步是互相耦合的。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮你建立 ResNet 基线、随机深度和 mixup 等训练配方成分,以及评估 ImageNet 结果可靠性(新测试集、重标注、随机种子)的背景,再读 timm 中的改进训练流程。
- 1
目标论文重新训练的正是 ResNet-50,需要先了解其原始结构与结果。
读残差块结构与 ResNet-50 的原始训练设置和 ImageNet 精度。
- 2
- 3
- 4
目标论文在 ImageNet-V2 上评估泛化,用来检查是否过拟合验证集。
读新测试集的构建方式,以及模型在新测试集上的精度下降现象。
- 5
- 6
说明随机种子带来的结果波动,帮助判断训练配方带来的提升是否显著。
读不同种子下精度的离散程度,以及它对比较不同方法的启示。
- 7ResNet strikes back: An improved training procedure in timm
目标论文:用现代训练配方重训 ResNet-50,在 timm 中给出更强的基线。
读训练流程中的损失函数、数据增强与优化器选择,以及与原始 ResNet 结果和新架构的对比。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Improved training methodologies have also been shown to boost the accuracy of ResNet50 - an 6-year-old pure convolutional architecture - on ImageNet-1k by over 5%.”
“This is still being pursued. Ross Wightmann's timm[0,1] package (now on Hugging Face) has done a lot of this.”
“[1] ResNet strikes back: An improved training procedure in timm Again, all three are great people to follow.”
- ResNet strikes back: An improved training procedure in timm ↗hexfaker · 2021-10-04 · 1 分