按年被提到
20212023 · 2 次2026
视觉、语音与图像生成›卷积网络与图像识别·arXiv:2110.00476 · cs.CV

ResNet strikes back: An improved training procedure in timm

ResNet 强势回归:timm 中改进的训练流程
Ross Wightman, Hugo Touvron, Hervé Jégou · 2021

用现代训练配方重训 ResNet-50,在 timm 中给出更强基线

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 3 人首次 2021-10-04 · 最近 2024-08-06
3不同的人
5活跃月份
5讨论串
368被引(OpenAlex)

ResNet 自 2015 年以来仍是大量研究的默认架构和基线,但训练方法(优化器、数据增强等)已有长足进步。论文把这些进展整合到一套更严格的训练流程中,重新评估原版 ResNet-50,并在 timm 开源库中公开训练设置和预训练模型。按这套设置,原版 ResNet-50 在无额外数据和蒸馏的情况下,224×224 分辨率的 ImageNet-val top-1 准确率可达 80.4%。

HN 为什么提它

评论者用它提醒大家:老架构靠更好的训练方法就能大幅提升,别在新架构的炒作里迷失,模型和训练方法的进步是互相耦合的。

实证研究难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1ResNet 残差网络
2ImageNet 图像分类
3数据增强与正则化
4优化器与学习率调度

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮你建立 ResNet 基线、随机深度和 mixup 等训练配方成分,以及评估 ImageNet 结果可靠性(新测试集、重标注、随机种子)的背景,再读 timm 中的改进训练流程。

  1. 1
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    目标论文重新训练的正是 ResNet-50,需要先了解其原始结构与结果。

    读残差块结构与 ResNet-50 的原始训练设置和 ImageNet 精度。

  2. 2

    随机深度是目标论文训练配方中的一项正则手段。

    读训练时随机丢弃残差分支的做法,以及它对深层残差网络的影响。

  3. 3

    mixup 是目标论文所用数据增强混合策略中的一种。

    读对样本和标签做线性插值的做法,及其作为正则的作用。

  4. 4
    Do ImageNet Classifiers Generalize to ImageNet?ImageNet 分类器能泛化到 ImageNet 吗? · 2019

    目标论文在 ImageNet-V2 上评估泛化,用来检查是否过拟合验证集。

    读新测试集的构建方式,以及模型在新测试集上的精度下降现象。

  5. 5
    Are we done with ImageNet?我们已经做完 ImageNet 了吗? · 2020

    目标论文也用重标注的评测(ImageNet-ReaL)检验改进是否真实。

    读原 ImageNet 标签的问题,以及重标注后如何更可靠地衡量进步。

  6. 6
    Torch.manual_seed(3407) is all you need: On the influence of random seeds in deep learning architectures for computer visiontorch.manual_seed(3407) 就够了:随机种子对计算机视觉深度学习架构的影响 · 2021

    说明随机种子带来的结果波动,帮助判断训练配方带来的提升是否显著。

    读不同种子下精度的离散程度,以及它对比较不同方法的启示。

  7. 7
    ResNet strikes back: An improved training procedure in timmResNet 强势回归:timm 中改进的训练流程 · 2021 · 就是这篇

    目标论文:用现代训练配方重训 ResNet-50,在 timm 中给出更强的基线。

    读训练流程中的损失函数、数据增强与优化器选择,以及与原始 ResNet 结果和新架构的对比。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐godelski · 2023-11

“The ResNet Strikes back paper is a great paper for one reason being that it should remind us all to not get lost in the hype and that our advancements are coupled.”

推荐,认为它提醒人们别迷失在炒作里,各项进步是相互关联的
MeshGPT: Generating Triangle Meshes with Decoder-Only Transformers原评论 ↗
引用mrintellectual · 2022-04

“Improved training methodologies have also been shown to boost the accuracy of ResNet50 - an 6-year-old pure convolutional architecture - on ImageNet-1k by over 5%.”

引用它说明改进训练方法能让 6 年前的 ResNet50 在 ImageNet-1k 上提升 5% 以上
Transformers Are All You Need原评论 ↗
引用godelski · 2023-04

“This is still being pursued. Ross Wightmann's timm[0,1] package (now on Hugging Face) has done a lot of this.”

指出这类工作仍在继续,Ross Wightmann 的 timm 做了很多
Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows原评论 ↗
引用godelski · 2024-08

“[1] ResNet strikes back: An improved training procedure in timm Again, all three are great people to follow.”

列出这篇论文,作为改进训练配方让旧架构复活的例子
The Path to StyleGan2 – Implementing the Progressive Growing GAN原评论 ↗
被提交为 story · 1 次