按年被提到
20212021 · 3 次2026
机器学习与深度学习›深度学习理论与泛化·arXiv:2104.13478 · cs.LG

Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges

几何深度学习:网格、群、图、测地线与规范
Michael M. Bronstein, Joan Bruna, Taco Cohen, Petar Veličković · 2021

用几何统一视角(网格、群、图、测地线、规范)解读主流深度网络

开始阅读 ↗PDFalphaXiv 讨论
被推荐 · 9 人首次 2021-04-29 · 最近 2025-09-08
9不同的人
9活跃月份
12讨论串
924被引(OpenAlex)

这份 156 页的长文认为,大多数有价值的任务都带有由物理世界的低维结构所决定的预定义规律,并按 Klein 的 Erlangen 纲领精神,用统一的几何原则来揭示这些规律。一方面,它为 CNN、RNN、GNN 和 Transformer 等最成功的网络架构提供共同的数学框架;另一方面,它给出把先验物理知识融入网络架构的构造性方法,并为设计未来的新架构提供有原则的途径。

HN 为什么提它

HN 上的人把它当作用几何视角统一理解各类深度网络的一本长篇专著,称赞其优雅,同时提醒读者需要相当的数学成熟度。

综述难度 4 / 5约 450 分钟经得起时间
读之前最好知道
1深度学习基础(CNN、RNN、Transformer)
2群论与对称性(group, symmetry)
3图论与图神经网络(GNN)
4微分几何的基本概念

学习路径

读这篇之前,按顺序读书架上的 6 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

这条路径涵盖 CNN、图神经网络、关系归纳偏置、Transformer,以及图同构的复杂性,对应几何深度学习蓝图中的网格、图与集合等不同域。

  1. 1
    Deep Residual Learning for Image Recognition用于图像识别的深度残差学习 · 2015

    CNN 是网格域上平移等变架构的代表,目标论文将其作为统一框架的第一个例子。

    读抓残差块结构,并把卷积理解为平移等变的局部算子。

  2. 2
    Semi-Supervised Classification with Graph Convolutional Networks基于图卷积网络的半监督分类 · 2016

    GCN 是图域上的基本架构,对应目标论文中图与置换等变的部分。

    读抓图卷积的传播公式及其与谱方法的关系。

  3. 3
    Neural Message Passing for Quantum Chemistry面向量子化学的神经消息传递 · 2017

    把图神经网络统一为消息传递框架,是目标论文对图网络分类的重要来源。

    读抓消息、聚合、更新三个函数的抽象。

  4. 4
    Relational inductive biases, deep learning, and graph networks关系归纳偏置、深度学习与图网络 · 2018

    系统提出关系归纳偏置与图网络,对应目标论文用对称性与不变性来看归纳偏置的思路。

    读抓归纳偏置与图网络的框架,以及与 CNN、RNN 的对应关系。

  5. 5
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    Transformer 的注意力可视为全连接图上的消息传递,目标论文把它放进图域的框架。

    读抓自注意力的计算与位置编码;实验部分略读。

  6. 6
    Graph Isomorphism in Quasipolynomial Time拟多项式时间内的图同构 · 2015

    图同构的拟多项式算法与目标论文中图的表达能力、Weisfeiler-Lehman 检验的讨论有关。

    读只需了解图同构问题的难度地位;证明技术不必深究。

  7. 7
    Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges几何深度学习:网格、群、图、测地线与规范 · 2021 · 就是这篇

    用几何统一视角(网格、群、图、测地线、规范)解读主流深度网络。

    读抓对称性、等变性与尺度分离这几条主线,再按域逐章对应各类架构。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
强烈推荐ArtWomb · 2021-05

“Direct link to 156pp paper (an absolutely elegant read):”

强烈推荐,贴出 156 页论文,称读来极为优雅
An Erlangen Programme to Establish the Geometric Foundations of Deep Learning原评论 ↗
推荐PartiallyTyped · 2023-01

“For something a little bit different but worth reading given that you have the prerequisite mathematical maturity”

推荐,称有数学基础的读者值得一读
Ask HN: What are the foundational texts for learning about AI/ML/NN?原评论 ↗
推荐PartiallyTyped · 2023-02

“I am a big fan of “Geometric Deep Learning” and the view the authors propose.”

推荐,称自己很喜欢作者提出的几何深度学习视角
Understanding and Coding the Self-Attention Mechanism of Large Language Models原评论 ↗
推荐r-bryan · 2025-09

“Check out this 156-page tome: Geometric Deep Learning”

推荐这本 156 页巨著,统一 CNN、RNN、GNN 和 Transformer
The maths you need to start understanding LLMs原评论 ↗
引用PartiallyTyped · 2022-04

“[2] Geometric Deep Learning page 27 (23 if you count book pages).”

指向该论文第 27 页,讲傅里叶分析和卷积
Why train when you can optimize?原评论 ↗
引用0xBABAD00C · 2023-01

“I would add the need for geometry and topology becoming more of a pre-requisite for picking up modern methods: Geometric Deep Learning”

拿它说明几何与拓扑正成为学习现代方法的前提
Just know stuff. (Or, how to achieve success in a machine learning PhD)原评论 ↗
看全部 7 条 →
引用smath · 2025-06

“and a subset of these authors have published along those lines more recently -- for e.g. Geometric Deep Learning”

指出部分作者近年沿此方向的后续工作
Spherical CNNs (2018)原评论 ↗
被提交为 story · 5 次