按年被提到
20252025 · 4 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:2503.02113 · cs.LG

Deep Learning is Not So Mysterious or Different

深度学习没那么神秘,也没那么不同
Andrew Gordon Wilson · 2025

用软归纳偏置和 PAC-Bayes 解释深度学习的泛化之谜

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 8 人首次 2025-03-07 · 最近 2026-09-22
8不同的人
7活跃月份
8讨论串
5被引(OpenAlex)

论文认为良性过拟合、双下降和过参数化成功等看似反常的泛化现象并非神经网络独有,也没有那么神秘,可以用 PAC-Bayes 和可数假设空间界等经典泛化框架直观理解并严格刻画。核心思想是软归纳偏置:不去限制假设空间,而是保持灵活的假设空间,同时对与数据一致的更简单解保持软偏好。作者同时指出,深度学习在表示学习、模式连通性和相对通用性等方面确有特别之处。

HN 为什么提它

HN 上的人在争论深度学习泛化是否神秘时推荐它,用来说明多项式拟合也能复现双下降,以及现有学习理论哪些能解释、哪些不能。

观点难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1统计学习理论与泛化
2PAC-Bayes 界
3偏差与方差权衡(bias-variance tradeoff)
4双下降(double descent)
5过参数化(overparametrization)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐thesz · 2025-04

“I really enjoyed that paper, a gem that puts light everywhere.”

推荐这篇论文,称它是一颗照亮各处的宝石,用多项式拟合重现 double descent 与记忆
Are polynomial features the root of all evil? (2024)原评论 ↗
推荐ainch · 2026-04

“Check out Andrew Gordon Wilson's excellent paper”

推荐 Andrew Gordon Wilson 的这篇优秀论文
There Will Be a Scientific Theory of Deep Learning原评论 ↗
引用hodgehog11 · 2025-08

“There are strong arguments that deep learning generalization (and robustness in a slightly different sense) can be successfully explained in terms of PAC-Bayes theory, for example: Deep Learning is Not So Mysterious or Different”

用它说明深度学习的泛化可以用 PAC-Bayes 理论成功解释
Do we understand how neural networks work?原评论 ↗
引用Macuyiko · 2026-05

“Reminded me strongly of the paper”

读到内容时强烈联想到这篇,认为深度学习没那么神秘
A Theory of Deep Learning原评论 ↗
引用robrenaud · 2026-09

“Also see the argument around figure 3 here.”

指出论文图 3 附近的论述解释了大模型为何泛化而非过拟合
Transformers Explained Visually原评论 ↗
被提交为 story · 3 次