按年被提到
20192019 · 2 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:1912.02292 · cs.LG

Deep Double Descent: Where Bigger Models and More Data Hurt

深度双下降:更大的模型与更多数据反而有害
Preetum Nakkiran, Gal Kaplun, Yamini Bansal, Tristan Yang, Boaz Barak, Ilya Sutskever · 2019

深度学习中也存在双下降:模型更大、训练更久、数据更多都可能变差

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 6 人首次 2019-12-07 · 最近 2026-02-16
6不同的人
5活跃月份
6讨论串
596被引(OpenAlex)

论文表明多种现代深度学习任务都会出现「双下降」:随着模型变大,性能先变差再变好;而且它不仅随模型规模出现,也随训练轮数出现。作者引入有效模型复杂度(effective model complexity)来统一这些现象,并指出在某些区间内,把训练样本增加到四倍反而会损害测试性能。

HN 为什么提它

评论者把它当作(OpenAI 参与的)双下降论文来引用,说明双下降广泛存在于不同架构和真实数据集,并以此论证过拟合可能是达到最佳性能的必经阶段。

实证研究难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1偏差-方差权衡
2过拟合与插值阈值(interpolation threshold)
3深度神经网络训练(模型宽度、训练轮数)
4测试误差与泛化

学习路径

读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我建立“过参数化为何能泛化”的背景:从拟合随机标签,到双下降曲线,再到本文在深度模型上的经验验证。

  1. 1
    Understanding deep learning requires rethinking generalization理解深度学习需要重新思考泛化 · 2016

    它说明大网络能拟合随机标签,传统泛化理论失效,是后续讨论的起点。

    读抓随机标签实验及其对传统复杂度度量的挑战。

  2. 2
    Reconciling modern machine learning practice and the bias-variance trade-off调和现代机器学习实践与偏差-方差权衡 · 2018

    提出双下降曲线,目标论文在深度网络上对它做了大规模验证和推广。

    读抓经典区间与插值阈值之后的现代区间,以及双下降曲线的形状。

  3. 3

    对线性模型的插值给出理论分析,解释过参数化区间的行为。

    读抓插值阈值附近测试误差的变化,数学细节可略读。

  4. 4
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    目标论文的实验用到 ResNet 这类模型。

    读只抓残差网络结构,便于理解实验里的模型宽度设置。

  5. 5
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    实验也覆盖 Transformer 做翻译任务。

    读抓 Transformer 的整体结构和模型维度,便于理解实验设置。

  6. 6
    Deep Double Descent: Where Bigger Models and More Data Hurt深度双下降:更大的模型与更多数据反而有害 · 2019 · 就是这篇

    表明模型规模、训练时间与数据量上都会出现双下降。

    读抓有效模型复杂度的定义、三种维度上的双下降现象,以及标签噪声的作用。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用preetum · 2019-12

“we define the interpolation threshold in Section 2 of the full paper”

指向论文第 2 节对插值阈值的定义
Understanding “Deep Double Descent”原评论 ↗
引用cs702 · 2020-07

“Actually, there's compelling evidence that overfitting is a necessary step for achieving state-of-the-art performance with DNNs!”

以双下降为证据,说明过拟合是达到 SOTA 的必要一步
The Overfitted Brain: Dreams evolved to assist generalization原评论 ↗
引用Grieverheart · 2021-10

“Are there any findings with respect to the phenomenon of Deep Double Descent [0]”

询问相关发现是否涉及深度双下降现象
Imitating Deep Learning Dynamics via Stochastic Differential Equations原评论 ↗
引用sebzim4500 · 2023-04

“OpenAI paper on double descent: Deep Double Descent”

贴出 OpenAI 的双下降论文
Double Descent in Human Learning原评论 ↗
引用rndphs · 2026-02

“That is the first sentence of the abstract. The first graph shown in the paper backs it up.”

指出摘要首句和论文首图都支持这一点
I don't think AGI is imminent原评论 ↗
被提交为 story · 1 次