按年被提到
20202020 · 4 次2026
机器学习与深度学习›科学机器学习·arXiv:2006.11287 · cs.LG

Discovering Symbolic Models from Deep Learning with Inductive Biases

借助归纳偏置从深度学习中发现符号模型
Miles Cranmer, Alvaro Sanchez-Gonzalez, Peter Battaglia, Rui Xu, Kyle Cranmer, David Spergel, Shirley Ho · 2020

对图神经网络做符号回归,从中提取物理公式

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 4 人首次 2020-06-28 · 最近 2024-05-09发表于 neural information processing systems
4不同的人
4活跃月份
5讨论串
296被引(OpenAlex)

提出从深度模型中提炼符号表示的一般方法,聚焦图神经网络(GNN):先在监督训练中鼓励稀疏的潜表示,再对学到的模型组件做符号回归,提取显式物理关系。能恢复已知的力定律和哈密顿量,并在暗物质模拟中发现一个预测暗物质浓度的新解析公式,该符号表达式在分布外数据上的泛化也优于 GNN 本身。

HN 为什么提它

评论者认为它被低估,并把它作为符号蒸馏/符号回归让 ML 模型保持可解释的研究例子。

方法难度 4 / 5约 60 分钟经得起时间
读之前最好知道
1图神经网络(GNN)
2符号回归(symbolic regression)
3归纳偏置(inductive bias)
4经典力学(力学定律与哈密顿量)

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径先看图网络与物理系统建模,再看符号回归,最后读目标论文如何结合两者,从训练好的图神经网络里提取符号公式。

  1. 1

    用图结构的网络建模物体与相互作用,是目标论文学习物理的基础

    读对象与关系的建模,以及如何预测物理系统的演化

  2. 2
    Neural Message Passing for Quantum Chemistry面向量子化学的神经消息传递 · 2017

    给出统一的消息传递图神经网络框架,目标论文的 GNN 基于此类结构

    读消息函数、聚合与更新三步的框架

  3. 3
    Relational inductive biases, deep learning, and graph networks关系归纳偏置、深度学习与图网络 · 2018

    说明用关系归纳偏置的动机,也是论文标题里归纳偏置的来源

    读关系归纳偏置的含义与图网络的通用框架

  4. 4
    Hamiltonian Neural Networks哈密顿神经网络 · 2019

    把物理结构(哈密顿力学)嵌入网络,是物理启发的另一路线,可对照

    读用神经网络学习哈密顿量并保持守恒律

  5. 5
    Toward an AI Physicist for Unsupervised Learning迈向用于无监督学习的 AI 物理学家 · 2018

    物理启发的无监督理论发现,与从网络里提取公式的目标相近

    读怎样发现并统一多个简洁理论

  6. 6
    AI Feynman: a Physics-Inspired Method for Symbolic RegressionAI Feynman:受物理启发的符号回归方法 · 2019

    符号回归的代表方法,目标论文用符号回归提取公式

    读递归式的符号回归与物理启发的化简技巧

  7. 7
    Discovering Symbolic Models from Deep Learning with Inductive Biases借助归纳偏置从深度学习中发现符号模型 · 2020 · 就是这篇

    目标论文:对带强归纳偏置的 GNN 做符号回归,提取物理公式

    读稀疏潜表示的鼓励方式、对网络各组件的符号回归,以及力定律与宇宙学的例子

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐KhoomeiK · 2020-12

“It's largely gone under the radar but has pretty interesting implications for NLP and language theory in my opinion.”

推荐它,称鲜为人知,对 NLP 和语言理论有有趣的启示
Ask HN: What's the best paper you've read in 2020?原评论 ↗
引用goodmachine · 2024-05

“In order for that not to happen (uninterpretable ML models) some research on symbolic distillation, aka symbolic regression”

把它当作符号蒸馏(符号回归)研究的例子,用来避免不可解释的 ML 模型
AlphaFold 3 predicts the structure and interactions of life's molecules原评论 ↗
被提交为 story · 3 次