按年被提到
20182018 · 3 次2026
大模型与语言模型›可解释性与表征研究·arXiv:1806.01261 · cs.LG

Relational inductive biases, deep learning, and graph networks

关系归纳偏置、深度学习与图网络
Peter W. Battaglia, Jessica B. Hamrick, Victor Bapst, Alvaro Sanchez-Gonzalez, Vinicius Zambaldi, Mateusz Malinowski, Andrea Tacchetti, David Raposo, Adam Santoro, Ryan Faulkner, Caglar Gulcehre, Francis Song 等 27 人 · 2018

主张用关系归纳偏置与图网络实现组合泛化

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 5 人首次 2018-06-08 · 最近 2024-12-21
5不同的人
5活跃月份
5讨论串
2,235被引(OpenAlex)

这篇文章兼具立场、综述与统一三种性质。作者主张组合泛化应是 AI 的首要目标,结构化表示与计算是实现它的关键,并反对在「手工设计」与「端到端」学习之间做非此即彼的选择。论文探讨了在深度学习架构中使用关系归纳偏置来学习实体、关系及其组合规则,提出图网络(graph network)这一统一并扩展了多种图神经网络方法的构件,并随文发布了开源软件库。

HN 为什么提它

评论者把它当作一篇不错的综述推荐,并作为 DeepMind 在关系推理与让系统学会推理概念方面取得进展的证据来引用。

观点难度 4 / 5约 70 分钟经得起时间
读之前最好知道
1深度学习基础(CNN、RNN)
2图论与图神经网络
3归纳偏置(inductive bias)
4组合泛化(combinatorial generalization)

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径帮我建立「为什么需要结构化的归纳偏置」的问题意识,以及关系推理、交互网络、消息传递和注意力这几类图网络前身。

  1. 1
    Building Machines That Learn and Think Like People构建像人一样学习和思考的机器 · 2016

    从认知科学角度提出组合性和因果模型的必要性,是目标论文强调组合泛化的思想背景。

    读抓关于组合性、直觉物理 / 心理学、学会学习的几点主张,不必读完全文。

  2. 2

    Interaction Networks 是对象加关系的图网络前身,目标论文的 GN block 受其直接影响。

    读抓对象、关系的分离建模,以及对每对对象计算相互作用后再汇总的计算流程。

  3. 3
    A simple neural network module for relational reasoning用于关系推理的简单神经网络模块 · 2017

    Relation Networks 展示了对所有对象对做成对关系推理的简单模块,是目标论文框架所统一的一类。

    读抓 g 函数对每对对象编码、再求和送入 f 的结构,以及它在 CLEVR 上的做法。

  4. 4
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    Transformer 的自注意力可以看成全连接图上的消息传递,目标论文把它归入非局部网络的统一视角。

    读抓多头自注意力的计算;之后回头对照它作为全连接图上的一种 GN。

  5. 5

    GAT 把注意力引入图上的邻居聚合,是目标论文统一框架里的具体实例。

    读抓基于邻居的注意力权重计算与聚合方式。

  6. 6
    Neural Message Passing for Quantum Chemistry面向量子化学的神经消息传递 · 2017

    MPNN 把多种图神经网络归纳成消息传递框架,与目标论文提出的图网络框架互为参照。

    读抓消息函数、更新函数和读出函数三步,对照 GN block 的边、节点、全局更新。

  7. 7
    Relational inductive biases, deep learning, and graph networks关系归纳偏置、深度学习与图网络 · 2018 · 就是这篇

    目标论文:提出关系归纳偏置的视角和图网络(GN)框架。

    读重点读关于归纳偏置的讨论、GN block 的定义与各种配置,以及对已有模型(MPNN、非局部网络等)的统一。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
推荐taliesinb · 2019-08

“[2] is a good survey paper, and [3] employs some of these ideas for RL.”

称它是好的综述,另一篇把这些思想用于 RL
Model-Based Reinforcement Learning for Atari原评论 ↗
引用blueyes · 2018-06

“Here are two recent papers from DeepMind:”

举 DeepMind 的两篇近期论文,作为 NLU 进展的证据
Chatbots were the next big thing: what happened?原评论 ↗
引用mlthrowaway1953 · 2018-08

“Already systems are learning to reason about concepts [1]”

拿它证明系统已经在学习对概念做推理
2018 Fields Medal and Nevanlinna Prize Winners原评论 ↗
被提交为 story · 2 次