按年被提到
20232024 · 3 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:2303.14151 · cs.LG

Double Descent Demystified: Identifying, Interpreting & Ablating the Sources of a Deep Learning Puzzle

Double Descent 解密:识别、解释并消除深度学习之谜的来源
Rylan Schaeffer, Mikail Khona, Zachary Robertson, Akhilan Boopathy, Kateryna Pistunova, Jason W. Rocks, Ila Rani Fiete, Oluwasanmi Koyejo · 2023

用线性回归讲清 double descent 为何出现、需要哪三个因素

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2024-03-02 · 最近 2025-04-23
4不同的人
4活跃月份
4讨论串
14被引(OpenAlex)

论文用多项式回归的直观图像和普通线性回归的数学分析,解释 double descent(参数量相对数据量增大时测试误差再次下降)的成因,指出三个同时存在才会产生该现象的可解释因素。实验表明在真实数据上用线性回归也能观察到 double descent,而去掉任一因素现象即消失,并借此讨论了非线性模型中的 superposition。

HN 为什么提它

评论者把它当作用简单模型讲解 double descent 的入门资料,用来解释过参数化模型为何仍能泛化。

教程难度 3 / 5约 40 分钟经得起时间
读之前最好知道
1线性代数
2概率论入门
3线性回归与最小二乘
4过拟合与偏差–方差权衡(bias-variance tradeoff)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用iaseiadit · 2024-03

“this paper explores double descent with simple models.”

引用它:用简单模型探讨 double descent
Learning Theory from First Principles [pdf]原评论 ↗
引用ds_opseeker · 2024-07

“Double descent is a surprising phenomenon in machine learning”

引用它:用线性回归解释 double descent 这一令人惊讶的现象,由三个因素造成
The Truth About Linear Regression (2015)原评论 ↗
被提交为 story · 2 次