引用iaseiadit · 2024-03
“this paper explores double descent with simple models.”
引用它:用简单模型探讨 double descent
用线性回归讲清 double descent 为何出现、需要哪三个因素
论文用多项式回归的直观图像和普通线性回归的数学分析,解释 double descent(参数量相对数据量增大时测试误差再次下降)的成因,指出三个同时存在才会产生该现象的可解释因素。实验表明在真实数据上用线性回归也能观察到 double descent,而去掉任一因素现象即消失,并借此讨论了非线性模型中的 superposition。
评论者把它当作用简单模型讲解 double descent 的入门资料,用来解释过参数化模型为何仍能泛化。
“this paper explores double descent with simple models.”
“Double descent is a surprising phenomenon in machine learning”