“It's largely gone under the radar but has pretty interesting implications for NLP and language theory in my opinion.”
按年被提到
20202020 · 4 次2026
Discovering Symbolic Models from Deep Learning with Inductive Biases
借助归纳偏置从深度学习中发现符号模型
Miles Cranmer, Alvaro Sanchez-Gonzalez, Peter Battaglia, Rui Xu, Kyle Cranmer, David Spergel, Shirley Ho · 2020
对图神经网络做符号回归,从中提取物理公式
被推荐 · 4 人首次 2020-06-28 · 最近 2024-05-09发表于 neural information processing systems
4不同的人
4活跃月份
5讨论串
296被引(OpenAlex)
提出从深度模型中提炼符号表示的一般方法,聚焦图神经网络(GNN):先在监督训练中鼓励稀疏的潜表示,再对学到的模型组件做符号回归,提取显式物理关系。能恢复已知的力定律和哈密顿量,并在暗物质模拟中发现一个预测暗物质浓度的新解析公式,该符号表达式在分布外数据上的泛化也优于 GNN 本身。
HN 为什么提它
评论者认为它被低估,并把它作为符号蒸馏/符号回归让 ML 模型保持可解释的研究例子。
方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1图神经网络(GNN)
2符号回归(symbolic regression)
3归纳偏置(inductive bias)
4经典力学(力学定律与哈密顿量)
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径先看图网络与物理系统建模,再看符号回归,最后读目标论文如何结合两者,从训练好的图神经网络里提取符号公式。
- 1
用图结构的网络建模物体与相互作用,是目标论文学习物理的基础
读对象与关系的建模,以及如何预测物理系统的演化
- 2
- 3
说明用关系归纳偏置的动机,也是论文标题里归纳偏置的来源
读关系归纳偏置的含义与图网络的通用框架
- 4
- 5
- 6
符号回归的代表方法,目标论文用符号回归提取公式
读递归式的符号回归与物理启发的化简技巧
- 7Discovering Symbolic Models from Deep Learning with Inductive Biases
目标论文:对带强归纳偏置的 GNN 做符号回归,提取物理公式
读稀疏潜表示的鼓励方式、对网络各组件的符号回归,以及力定律与宇宙学的例子
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及推荐KhoomeiK · 2020-12
推荐它,称鲜为人知,对 NLP 和语言理论有有趣的启示
引用goodmachine · 2024-05
“In order for that not to happen (uninterpretable ML models) some research on symbolic distillation, aka symbolic regression”
把它当作符号蒸馏(符号回归)研究的例子,用来避免不可解释的 ML 模型
被提交为 story · 3 次
- Discovering Symbolic Models from Deep Learning with Inductive Biases ↗che_shr_cat · 2020-06-28 · 2 分
- Discovering Symbolic Models from Deep Learning with Inductive Biases ↗stinky · 2020-06-29 · 1 分
- Discovering Symbolic Models from Deep Learning with Inductive Biases ↗che_shr_cat · 2020-07-20 · 4 分