批评knzhou · 2019-11
“It's such a poor imitation of the real process of discovery in science that it's frankly insulting.”
结合神经网络拟合与物理启发技巧,递归地从数据中恢复公式
符号回归要从数据里找出与未知函数相符的符号表达式。作者结合神经网络拟合与利用对称性、可分离性、组合性等性质的物理启发技巧,设计了递归的多维符号回归算法;在《费曼物理学讲义》的 100 个方程上全部发现,而此前公开软件只能解出 71 个,在更难的测试集上成功率从 15% 提高到 90%。
它被当作符号回归的代表工作提起,有人拿它对照「用特殊函数搭浅层表达式树」的做法,也有人批评它远不像真实的科学发现过程。
先从物理视角理解深度学习为什么能表示简洁的物理函数,再看作者此前把物理方法用于学习的尝试,最后读 AI Feynman 的符号回归算法。
解释为什么物理中常见的函数结构(对称性、组合性)适合用神经网络近似,这是本文方法的出发点。
读抓住物理定律的简单性如何让深度而廉价的网络有效,不必逐条读数学证明。
同一团队用物理学思路让智能体学习简洁理论,是 AI Feynman 的思想前身。
读看奥卡姆剃刀式的简洁性追求和分而治之的理论统一思想。
目标论文:结合神经网络拟合和物理启发技巧递归地做符号回归。
读理解量纲分析、对称性、可分性检测等化简步骤,以及在 Feynman 方程集上的结果。
“It's such a poor imitation of the real process of discovery in science that it's frankly insulting.”
“work with shallower trees of those instead, e.g. AI Feynman”