“[2] is a good survey paper, and [3] employs some of these ideas for RL.”
Relational inductive biases, deep learning, and graph networks
主张用关系归纳偏置与图网络实现组合泛化
这篇文章兼具立场、综述与统一三种性质。作者主张组合泛化应是 AI 的首要目标,结构化表示与计算是实现它的关键,并反对在「手工设计」与「端到端」学习之间做非此即彼的选择。论文探讨了在深度学习架构中使用关系归纳偏置来学习实体、关系及其组合规则,提出图网络(graph network)这一统一并扩展了多种图神经网络方法的构件,并随文发布了开源软件库。
评论者把它当作一篇不错的综述推荐,并作为 DeepMind 在关系推理与让系统学会推理概念方面取得进展的证据来引用。
学习路径
读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出这条路径帮我建立「为什么需要结构化的归纳偏置」的问题意识,以及关系推理、交互网络、消息传递和注意力这几类图网络前身。
- 1
从认知科学角度提出组合性和因果模型的必要性,是目标论文强调组合泛化的思想背景。
读抓关于组合性、直觉物理 / 心理学、学会学习的几点主张,不必读完全文。
- 2
Interaction Networks 是对象加关系的图网络前身,目标论文的 GN block 受其直接影响。
读抓对象、关系的分离建模,以及对每对对象计算相互作用后再汇总的计算流程。
- 3
Relation Networks 展示了对所有对象对做成对关系推理的简单模块,是目标论文框架所统一的一类。
读抓 g 函数对每对对象编码、再求和送入 f 的结构,以及它在 CLEVR 上的做法。
- 4
Transformer 的自注意力可以看成全连接图上的消息传递,目标论文把它归入非局部网络的统一视角。
读抓多头自注意力的计算;之后回头对照它作为全连接图上的一种 GN。
- 5
- 6
MPNN 把多种图神经网络归纳成消息传递框架,与目标论文提出的图网络框架互为参照。
读抓消息函数、更新函数和读出函数三步,对照 GN block 的边、节点、全局更新。
- 7Relational inductive biases, deep learning, and graph networks
目标论文:提出关系归纳偏置的视角和图网络(GN)框架。
读重点读关于归纳偏置的讨论、GN block 的定义与各种配置,以及对已有模型(MPNN、非局部网络等)的统一。
HN 书评
推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及“Here are two recent papers from DeepMind:”
“Already systems are learning to reason about concepts [1]”
- Relational inductive biases, deep learning, and graph networks ↗rch · 2018-10-20 · 45 分
- Relational inductive biases, deep learning, and graph networks ↗sonabinu · 2024-12-21 · 2 分