按年被提到
20262026 · 4 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:2604.21691 · stat.ML

There Will Be a Scientific Theory of Deep Learning

深度学习终将有一套科学理论
Jamie Simon, Daniel Kunin, Alexander Atanasov, Enric Boix-Adserà, Blake Bordelon, Jeremy Cohen, Nikhil Ghosh, Florentin Guth, Arthur Jacot, Mason Kamb, Dhruva Karkada, Eric J. Michaud 等 14 人 · 2026

论证“学习力学”正在成形,梳理五类深度学习理论研究

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2026-04-24 · 最近 2026-09-20
4不同的人
4活跃月份
4讨论串
0被引(OpenAlex)

论文主张一套深度学习的科学理论正在出现,它刻画训练过程、隐藏表示、最终权重和网络性能的重要性质与统计量。作者归纳出五类正在成长的研究:可解的理想化设定、可处理的极限、描述宏观可观测量的简单数学定律、把超参数与训练其余部分解耦的理论,以及跨系统普适行为。他们认为这套理论最好被看作学习过程的力学(learning mechanics),讨论其与统计、信息论视角及机理可解释性的关系,回应认为基础理论不可能或不重要的论调,并给出开放问题和给初学者的建议。

HN 为什么提它

HN 上的人引用它作为深度学习有望出现科学理论的较乐观论证,并把其中的开放问题清单与对齐等更有针对性的问题作对照。

观点难度 4 / 5约 120 分钟经得起时间
读之前最好知道
1深度学习与神经网络训练
2统计学习理论
3缩放定律(scaling laws)
4机理可解释性(mechanistic interpretability)

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐hodgehog11 · 2026-09

“It's a good list, but "alignment" is much more targetted.”

认为这份深度学习科学理论的开放问题清单不错,但 alignment 更有针对性
The Millennium Problems for Biology原评论 ↗
引用smokel · 2026-05

“which was discussed here recently”

指出这篇深度学习科学理论的论文此前在站内讨论过
A Theory of Deep Learning原评论 ↗
引用inkysigma · 2026-06

“I think there's a relatively optimistic paper that was posted a while back here but I would also take it with a grain of salt.”

提到一篇相对乐观的论文,但提醒要持保留态度
How LLMs Work原评论 ↗
被提交为 story · 1 次