“we define the interpolation threshold in Section 2 of the full paper”
Deep Double Descent: Where Bigger Models and More Data Hurt
深度学习中也存在双下降:模型更大、训练更久、数据更多都可能变差
论文表明多种现代深度学习任务都会出现「双下降」:随着模型变大,性能先变差再变好;而且它不仅随模型规模出现,也随训练轮数出现。作者引入有效模型复杂度(effective model complexity)来统一这些现象,并指出在某些区间内,把训练样本增加到四倍反而会损害测试性能。
评论者把它当作(OpenAI 参与的)双下降论文来引用,说明双下降广泛存在于不同架构和真实数据集,并以此论证过拟合可能是达到最佳性能的必经阶段。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮我建立“过参数化为何能泛化”的背景:从拟合随机标签,到双下降曲线,再到本文在深度模型上的经验验证。
- 1
它说明大网络能拟合随机标签,传统泛化理论失效,是后续讨论的起点。
读抓随机标签实验及其对传统复杂度度量的挑战。
- 2
提出双下降曲线,目标论文在深度网络上对它做了大规模验证和推广。
读抓经典区间与插值阈值之后的现代区间,以及双下降曲线的形状。
- 3
对线性模型的插值给出理论分析,解释过参数化区间的行为。
读抓插值阈值附近测试误差的变化,数学细节可略读。
- 4
- 5
- 6Deep Double Descent: Where Bigger Models and More Data Hurt
表明模型规模、训练时间与数据量上都会出现双下降。
读抓有效模型复杂度的定义、三种维度上的双下降现象,以及标签噪声的作用。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Actually, there's compelling evidence that overfitting is a necessary step for achieving state-of-the-art performance with DNNs!”
“Are there any findings with respect to the phenomenon of Deep Double Descent [0]”
“OpenAI paper on double descent: Deep Double Descent”
“That is the first sentence of the abstract. The first graph shown in the paper backs it up.”
- Deep Double Descent: Where Bigger Models and More Data Hurt ↗karxxm · 2019-12-20 · 2 分