“What I am complaining about is that the authors are confusing "what can be represented" by a neural network with "what can be easily learned" via SGD.”
按年被提到
20182020 · 2 次2026
Reconciling modern machine learning practice and the bias-variance trade-off
调和现代机器学习实践与偏差-方差权衡
Mikhail Belkin, Daniel Hsu, Siyuan Ma, Soumik Mandal · 2018
提出「双下降」曲线,解释过参数化模型为何插值数据仍能泛化
被提及 · 6 人首次 2019-08-27 · 最近 2022-04-23
6不同的人
6活跃月份
6讨论串
1,691被引(OpenAlex)
经典的偏差-方差权衡认为模型太复杂就会过拟合,但神经网络等极丰富的模型被训练到完全拟合(插值)训练数据,测试精度仍然很高。作者提出「双下降」曲线,把经典 U 形曲线和现代实践统一起来:模型容量越过插值点后,性能反而继续提升;论文给出多种模型和数据集上的证据,并提出一种产生机制。
HN 为什么提它
评论者用它解释「模型容量相对数据量增大、甚至完美拟合训练集后,泛化误差仍可下降」,同时也有人批评作者混淆了网络能表示什么与 SGD 容易学到什么。
奠基之作难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1偏差-方差权衡(bias-variance trade-off)
2过拟合与泛化
3插值与模型容量
4神经网络训练基础
学习路径
读这篇之前,按顺序读书架上的 1 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出候选里只有一篇与过参数化模型泛化直接相关:先看网络能拟合随机标签带来的泛化谜题,再读双下降曲线如何统一经典与现代观点。
- 1
指出大网络能记住随机标签,传统泛化理论无法解释,这正是本文要调和的矛盾。
读抓住随机标签实验和「显式正则不是泛化的关键」的结论。
- 2Reconciling modern machine learning practice and the bias-variance trade-off
目标论文:提出双下降曲线,解释插值点之后测试误差继续下降。
读理解经典 U 形曲线与插值阈值后的第二次下降,以及不同模型族上的实验。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及批评blackbear_ · 2021-04
引用cs702 · 2020-10
“For instance, these intuitions fail to explain”
拿它说明传统直觉无法解释深度学习中的 double descent
引用mxwsn · 2021-03
“increasing modeling capacity relative to the dataset size can reduce generalization error, even after the model achieves perfect training performance”
引用 double descent:模型相对数据更大,即使完全拟合训练集泛化误差仍可下降
被提交为 story · 3 次
- Reconciling modern machine learning and the bias-variance trade-off ↗hardmaru · 2019-08-27 · 1 分
- Reconciling modern machine learning practice and the bias-variance trade-off ↗madmax96 · 2020-02-04 · 2 分
- Reconciling modern machine learning practice and the bias-variance trade-off ↗Anon84 · 2022-04-23 · 3 分