“Author has it completely backward. [edit: on further reading, the title is clickbait but the article content is consistent with my point below) With only a few exceptions, ML is incredibly simple (there is no AI). The math is simple, the mechanics of evaluating it is simple, the reason it works is simple, and it only really works well if you have absurd …”
Why is AI hard and Physics simple?
主张物理与机器学习通过稀疏性相通,呼吁物理学家研究 AI
论文探讨 AI 为何困难、物理为何简单,以及如何把物理直觉和理论物理的方法用于人工智能特别是机器学习。作者提出机器学习与物理学的根本事业通过稀疏性原则紧密相连,并号召理论物理学家以物理学家的身份投入 AI 研究。作为第一步,他讨论了一本即将出版、试图实现这一思路的深度学习理论原理之书。
输入里没有保留下来的评论摘录,无法判断 HN 上的人为什么反复提它;只知道它在 2021 至 2025 年间被 4 个人在 3 个月里提及。
学习路径
读这篇之前,按顺序读书架上的 5 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径从深度学习泛化之谜讲起,经过无限宽极限(高斯过程与 NTK)的理论,再到缩放定律和大模型,帮你理解作者所谓物理学家可以介入 AI 的理由。
- 1
指出深度网络能拟合随机标签,说明传统泛化理论解释不了深度学习,是作者主张需要新理论的起点。
读随机标签实验与由此推出的结论:容量大的网络仍能泛化。
- 2
无限宽网络等价于高斯过程,是用物理式极限分析神经网络的早期代表。
读无限宽极限下网络输出的高斯过程描述,不必深究核的具体计算。
- 3
NTK 给出无限宽网络训练动力学的核描述,是目标论文所提深度学习理论的一条重要线索。
读训练等价于固定核上的核梯度下降这一结论;证明细节可略读。
- 4
缩放定律是 AI 中类似物理定律的经验规律,作者借此说明为什么物理式方法有用。
读损失与参数量、数据量、算力的幂律关系,以及这类简洁规律意味着什么。
- 5
GPT-3 是这种规模带来能力的代表例子,也是 AI 看似困难的原因之一。
读只抓少样本学习能力随规模提升的现象,细节任务结果可跳过。
- 6Why is AI hard and Physics simple?
目标论文:主张物理与机器学习通过稀疏性相通,并介绍深度学习理论一书的思路。
读稀疏性原则如何把物理和机器学习联系起来,以及作者对物理学家研究 AI 的具体呼吁。
HN 书评
没有评论直接链到它;下面是它被提交的讨论串里回复最多的评论(不计入统计)“Physics is not simple. e=mc^2 might look nice on a t-shirt but it is a cherry picked formula. Newtonian mechanics you learn in high school might seem simple to someone with a MINT degree but they describe a small part of the world, and complicated things like friction are discarded. General relativity, quantum chromodynamics, etc. They are all incredibly…”
“Most of the responses here seem to imply that the author doesn't understand that physics can be complicated (in the sense of being hard to learn or having big equations). He studies theoretical physics at MIT [1], so I expect he does. On the content: it's pretty weird that our best models don't use much of the world's underlying structure at all. State-o…”
- Why is AI hard and Physics simple? ↗AnonymousOne · 2021-04-02 · 7 分
- Why is AI hard and physics simple? ↗bigdict · 2021-06-22 · 59 分
- Why is AI hard and Physics simple? ↗jxmorris12 · 2025-06-07 · 1 分
- Why is AI hard and Physics simple? ↗sebg · 2025-06-09 · 1 分